我正在使用Selenium,Python和PhantomJS编写爬虫程序,以使用Google的反向图像搜索。到目前为止,我已经能够成功上传图像并在第一页上爬网搜索结果。但是,当我尝试单击搜索结果导航时,出现了StaleElementReferenceError。我在很多帖子中都读过它,但是仍然无法实现该解决方案。这是中断的代码:
ele7 = browser.find_element_by_id("nav")
ele5 = ele7.find_elements_by_class_name("fl")
count = 0
for elem in ele5:
if count <= 2:
print str(elem.get_attribute("href"))
elem.click()
browser.implicitly_wait(20)
ele6 = browser.find_elements_by_class_name("rc")
for result in ele6:
f = result.find_elements_by_class_name("r")
for line in f:
link = line.find_elements_by_tag_name("a")[0].get_attribute("href")
links.append(link)
parsed_uri = urlparse(link)
domains.append('{uri.scheme}://{uri.netloc}/'.format(uri=parsed_uri))
count += 1
代码在打印时中断str(elem.get_attribute("href"))
。我该如何解决?
提前致谢。
单击一个链接将使浏览器转到另一个页面。使在旧页面(该元素的引用ele5
,elem
)无效。
修改代码以不引用无效的元素。
例如,您可以在访问其他页面之前获取URL:
ele7 = browser.find_element_by_id("nav")
ele5 = ele7.find_elements_by_class_name("fl")
urls = [elem.get_attribute('href') for elem in ele5] # <-----
browser.implicitly_wait(20)
for url in urls[:2]: # <------
print url
browser.get(url) # <------ used `browser.get` instead of `click`.
# ; using `element.click` will cause the error.
ele6 = browser.find_elements_by_class_name("rc")
for result in ele6:
f = result.find_elements_by_class_name("r")
for line in f:
link = line.find_elements_by_tag_name("a")[0].get_attribute("href")
links.append(link)
parsed_uri = urlparse(link)
domains.append('{uri.scheme}://{uri.netloc}/'.format(uri=parsed_uri))
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句