如何使用Selenium Webdriver和Python抓取所有搜索结果
PTN
我正在尝试从此站点https://brokercheck.finra.org/search/genericsearch/list的搜索结果中抓取所有CRD＃
（单击链接时，您需要重做搜索，只需为Individual搜索键入一些随机内容）
我driver.find_elements_by_xpath用来定位每个结果页面上的所有CRD编号。但是，我已经尝试了一段时间，但是Webdriver仍然无法从站点获取CRD。
我目前（在Python中）
crds = driver.find_elements_by_xpath("//md-list-item/div/div/div/div/div/bc-bio-geo-section/div/div/div/div/div/span")
但是结果总是空的。
DebanjanB
要使用Selenium打印CRD#来自网站https://brokercheck.finra.org/search/genericsearch/grid的搜索结果中的所有结果，您必须诱导使用WebDriverWait，并且可以使用以下两种定位策略之一：visibility_of_all_elements_located()
使用
CSS_SELECTOR和get_attribute()：print([my_elem.get_attribute("innerHTML") for my_elem in WebDriverWait(driver, 10).until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, "span.ng-binding[ng-bind-html='vm.item.id']")))])使用XPATH和text：
print([my_elem.text for my_elem in WebDriverWait(driver, 10).until(EC.visibility_of_all_elements_located((By.XPATH, "//span[starts-with(., 'CRD')]//following-sibling::span[1]")))])注意：您必须添加以下导入：
from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
编辑于
相关文章
Related 相关文章
- 1
使用Python和Selenium Webdriver抓取JavaScript
- 2
使用Python进行网络抓取时显示所有搜索结果
- 3
Java：如何使用Selenium从Amazon抓取图像？
- 4
如何使用python和selenium IDE获取网页上的所有链接
- 5
如何使用带有Python的Selenium WebDriver获得选择的选项？
- 6
尝试如何使用Selenium和Python抓取orbitz.com时，Field XPath如何保持变化？
- 7
如何使用Selenium Webdriver获得所有列表项？
- 8
如何使用Selenium抓取动态内容？
- 9
如何使用Python退出通过GeckoDriver和Selenium启动的所有Firefox进程
- 10
如何使用Selenium和Python识别元素
- 11
如何使用Selenium和Python提取第一个搜索结果的href属性
- 12
如何使用Selenium和Python上传文件
- 13
如何使用Python Selenium和BeautifulSoup从网络上刮掉所有<li>文本？
- 14
如何使用Selenium和Python抓取注释？
- 15
如何使用Selenium和Python单击“搜索”按钮？
- 16
使用Selenium和Python从搜索结果列表中选择
- 17
使用Selenium和Python从搜索结果列表中选择
- 18
如何使用Selenium Webdriver处理自动搜索完成
- 19
如何使用Selenium Webdriver？
- 20
使用Python进行网络抓取时显示所有搜索结果
- 21
Java：如何使用Selenium从Amazon抓取图像？
- 22
尝试如何使用Selenium和Python抓取orbitz.com时，Field XPath会如何变化？
- 23
如何使用Selenium抓取动态内容？
- 24
如何使用带有 Python 的 Selenium Webdriver 抓取下拉菜单选项？
- 25
你如何使用 selenium 和 BS3 抓取 javascript？
- 26
如何使用 Selenium 和 Python 抓取 Glassdoor 评级
- 27
使用 Beautiful Soup 和 Python 抓取多个搜索页面的结果
- 28
如何使用python和selenium单击linkedin中的所有连接按钮？
- 29
如何在没有明显网址的情况下从搜索结果中抓取 pdf 和 html
我来说两句