Python请求错误10060

布莱恩

我有一个爬网网站的脚本。直到今天它运行完美,但是现在还没有。

它给sme以下错误:

 Connection Aborted Error(10060 ' A connection attempt failed becvause the connected party did not properly respond after a period of time, or established a connection failed because connected host has failed to respond'

我一直在寻找答案和设置,但我不知道如何解决此问题...

在IE中,我没有使用任何代理(连接->局域网设置->代理=禁用)

它在这段代码中中断了,一些是第一次运行,一些是第二次运行,等等。

def geturls(functionurl, runtime):
startCrawl = requests.get(functionurl, headers=headers)
mainHtml = BeautifulSoup(startCrawl.content, 'html.parser')
mainItems = mainHtml.find("div",{"id": "js_multiselect_results"})
for tag in mainItems.findAll('a', href=True):
    tag['href'] = urlparse.urljoin(url,tag['href'])
    if shorturl in tag['href'] and tag['href'] not in visited:
        if any(x in tag['href'] for x in keepout):
            falseurls.append(tag['href'])
        elif tag['href'] in urls:
            doubleurls.append(tag['href'])
        else:
            urlfile.write(tag['href'] + "\n")
            urls.append(tag['href'])

totalItemsStart = str(mainHtml.find("span",{"id": "sab_header_results_size"}))
if runtime == 1:
    totalnumberofitems[0] = totalItemsStart
    totalnumberofitems[0] = strip_tags(totalnumberofitems[0])
return totalnumberofitems

我怎样才能解决这个问题?

亚力山大

尝试增加方法timeout参数requests.get

requests.get(functionurl, headers=headers, timeout=5)

但是很可能服务器会阻止您的脚本以防止报废尝试。如果是这种情况,您可以尝试通过设置适当的标题来伪装Web浏览器。

{"User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 GTB7.1 (.NET CLR 3.5.30729)", "Referer": "http://example.com"}

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Python IMAPlib错误10060

来自分类Dev

python urlopen错误[Errno 10060]

来自分类Dev

python请求400错误

来自分类Dev

python请求错误422

来自分类Dev

Python Flask 错误请求

来自分类Dev

Python:POST中使用请求的错误请求

来自分类Dev

Python POST 请求 400 错误请求

来自分类Dev

Python请求POST-400-Python请求的错误请求

来自分类Dev

python请求错误处理

来自分类Dev

python请求导入错误

来自分类Dev

Python请求包脚本错误

来自分类Dev

python请求处理错误302?

来自分类Dev

Python请求SSL错误504

来自分类Dev

Python请求模块导入错误

来自分类Dev

错误的请求套接字python

来自分类Dev

python请求错误处理

来自分类Dev

Python请求数据错误?

来自分类Dev

Python 请求收到 401 错误

来自分类Dev

尝试连接亚马逊MySQL RDS时出现错误10060

来自分类Dev

remexec无法连接,并显示10060错误代码

来自分类Dev

带套接字的Python GET请求-400错误的请求

来自分类Dev

Python放置请求。Spotify API放置请求格式错误的Json

来自分类Dev

带有python 400错误请求的POST请求

来自分类Dev

openssl,python请求错误:“证书验证失败”

来自分类Dev

Python-3请求参数编码错误

来自分类Dev

使用Python加载JSON请求错误的类型

来自分类Dev

SSLError:握手错误,Python请求

来自分类Dev

Python“请求”以错误的顺序添加参数

来自分类Dev

Python库请求打开错误的页面