我有一个爬网网站的脚本。直到今天它运行完美，但是现在还没有。
它给sme以下错误：
Connection Aborted Error(10060 ' A connection attempt failed becvause the connected party did not properly respond after a period of time, or established a connection failed because connected host has failed to respond'
我一直在寻找答案和设置，但我不知道如何解决此问题...
在IE中，我没有使用任何代理（连接->局域网设置->代理=禁用）
它在这段代码中中断了，一些是第一次运行，一些是第二次运行，等等。
def geturls(functionurl, runtime):
startCrawl = requests.get(functionurl, headers=headers)
mainHtml = BeautifulSoup(startCrawl.content, 'html.parser')
mainItems = mainHtml.find("div",{"id": "js_multiselect_results"})
for tag in mainItems.findAll('a', href=True):
tag['href'] = urlparse.urljoin(url,tag['href'])
if shorturl in tag['href'] and tag['href'] not in visited:
if any(x in tag['href'] for x in keepout):
falseurls.append(tag['href'])
elif tag['href'] in urls:
doubleurls.append(tag['href'])
else:
urlfile.write(tag['href'] + "\n")
urls.append(tag['href'])
totalItemsStart = str(mainHtml.find("span",{"id": "sab_header_results_size"}))
if runtime == 1:
totalnumberofitems[0] = totalItemsStart
totalnumberofitems[0] = strip_tags(totalnumberofitems[0])
return totalnumberofitems
我怎样才能解决这个问题？
尝试增加方法的timeout参数requests.get：
requests.get(functionurl, headers=headers, timeout=5)
但是很可能服务器会阻止您的脚本以防止报废尝试。如果是这种情况，您可以尝试通过设置适当的标题来伪装Web浏览器。
{"User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 GTB7.1 (.NET CLR 3.5.30729)", "Referer": "http://example.com"}
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句