Selenium获取python的所有属性

最弯曲的

我正在尝试获取页面上的所有元素,但是它具有无限滚动的功能。我尝试向下滚动页面,然后获取属性,但没有将它们全部都拿走吗?由于某种原因,我只能得到其中的一半?

 driver = webdriver.Firefox()
 driver.get("http://www.amazon.com/gp/pdp/profile/A2A46BUQRGSAB0/ref=cm_cr_dp_pdp")
 lastHeight = driver.execute_script("return document.body.scrollHeight")
 while True:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(3)
    newHeight = driver.execute_script("return document.body.scrollHeight")
    print newHeight, lastHeight
    if newHeight == lastHeight:
       break
   lastHeight = newHeight
tree = etree.HTML(driver.page_source)
product = tree.xpath('//span[@class="a-size-base product-title pr-multiline-ellipses-container"]//text()')[::3]
print len(product)
虚假的

您需要等待滚动生效。否则,您将在更新完成之前获取源代码。

简单但不完美的解决方法是使用time.sleep足够的时间:

import time

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
time.sleep(1)  # <---
newHeight = driver.execute_script("return document.body.scrollHeight")

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

使用Selenium WebDriver从IWebElement获取所有属性

来自分类Dev

获取所有属性java对象

来自分类Dev

获取对象的所有属性的列表

来自分类Dev

通过反射获取所有ICollection属性

来自分类Dev

如何获取所有Wikidata属性的列表?

来自分类Dev

获取ADLDS类的所有可写属性

来自分类Dev

获取控件的所有依赖项属性

来自分类Dev

获取所有匹配元素的数据属性?

来自分类Dev

如何使用python和selenium IDE获取网页上的所有链接

来自分类Dev

Python对象列表,获取属性的所有“方向”

来自分类Dev

MAYA中的PYTHON:获取所有属性

来自分类Dev

WordPress获取所有属性和值

来自分类Dev

迭代期间无法获取所有必要的链接-Selenium Python

来自分类Dev

从html字典属性获取所有值

来自分类Dev

无法获取所有子项(动态加载)Selenium python

来自分类Dev

获取所有属性名称

来自分类Dev

如何使用Selenium Python中的一个类从任何网站获取所有数据

来自分类Dev

使用C#中的Selenium获取具有特定类的所有元素的属性值的列表

来自分类Dev

从Selenium / Python中的Amazon产品页面的图像中提取所有src属性

来自分类Dev

在python中获取XML的所有相同属性值

来自分类Dev

使用Selenium WebDriver从IWebElement获取所有属性

来自分类Dev

MAYA中的PYTHON:获取所有属性

来自分类Dev

迭代期间无法获取所有必要的链接-Selenium Python

来自分类Dev

使用查询selenium python获取所有没有div的body元素

来自分类Dev

在<id>树下获取所有属性?(Python硒)

来自分类Dev

Python - 有没有办法获取对象的所有属性

来自分类Dev

Python 和 selenium - 从网页获取所有链接

来自分类Dev

我无法使用 Beautiful Soup 和 Selenium 获取所有图像属性

来自分类Dev

如何通过selenium python从所有页面获取数据

Related 相关文章

  1. 1

    使用Selenium WebDriver从IWebElement获取所有属性

  2. 2

    获取所有属性java对象

  3. 3

    获取对象的所有属性的列表

  4. 4

    通过反射获取所有ICollection属性

  5. 5

    如何获取所有Wikidata属性的列表?

  6. 6

    获取ADLDS类的所有可写属性

  7. 7

    获取控件的所有依赖项属性

  8. 8

    获取所有匹配元素的数据属性?

  9. 9

    如何使用python和selenium IDE获取网页上的所有链接

  10. 10

    Python对象列表,获取属性的所有“方向”

  11. 11

    MAYA中的PYTHON:获取所有属性

  12. 12

    WordPress获取所有属性和值

  13. 13

    迭代期间无法获取所有必要的链接-Selenium Python

  14. 14

    从html字典属性获取所有值

  15. 15

    无法获取所有子项(动态加载)Selenium python

  16. 16

    获取所有属性名称

  17. 17

    如何使用Selenium Python中的一个类从任何网站获取所有数据

  18. 18

    使用C#中的Selenium获取具有特定类的所有元素的属性值的列表

  19. 19

    从Selenium / Python中的Amazon产品页面的图像中提取所有src属性

  20. 20

    在python中获取XML的所有相同属性值

  21. 21

    使用Selenium WebDriver从IWebElement获取所有属性

  22. 22

    MAYA中的PYTHON:获取所有属性

  23. 23

    迭代期间无法获取所有必要的链接-Selenium Python

  24. 24

    使用查询selenium python获取所有没有div的body元素

  25. 25

    在<id>树下获取所有属性?(Python硒)

  26. 26

    Python - 有没有办法获取对象的所有属性

  27. 27

    Python 和 selenium - 从网页获取所有链接

  28. 28

    我无法使用 Beautiful Soup 和 Selenium 获取所有图像属性

  29. 29

    如何通过selenium python从所有页面获取数据

热门标签

归档