使用硒解析动态网页

oop

我正在尝试从Amazon刮取图像,这并不容易。

我想我快到了,但是我没有得到结果。

在这里,我使用硒来1.打开主图像,然后单击2.在缩略图3中单击第二个图像,然后获取第二个图像的完整大小的src。

但是失败了,我不知道为什么

这是我写的台词。

from urllib.request import urlretrieve
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time

driver = webdriver.Firefox()
url = "https://www.amazon.com/Kraft-Original-Macaroni-Microwaveable-Packets/dp/B005ECO3H0"
driver.get(url)
action = ActionChains(driver)
time.sleep(5)

driver.find_element_by_css_selector('#landingImage').click()
time.sleep(10)

html = driver.page_source
soup = BeautifulSoup(html,"html.parser")

driver.find_element_by_css_selector('#ivImage_1').click()
amazon = soup.select_one(".fullscreen")
imgUrl = amazon.find("img")['src']
print(imgUrl)

我无法理解的一件事是,如果键入print(amazon),它将为我提供img标签,但是根据上面代码的结果,imgUrl为'Nonetype'。

请帮助我找到答案。

西比尔

干得好

from urllib.request import urlretrieve
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time

driver = webdriver.Firefox()
url = "https://www.amazon.com/Kraft-Original-Macaroni-Microwaveable- 
Packets/dp/B005ECO3H0"
driver.get(url)
action = ActionChains(driver)
time.sleep(5)

driver.find_element_by_css_selector('#landingImage').click()
time.sleep(5)

html = driver.page_source
soup = BeautifulSoup(html,"html.parser")

driver.find_element_by_css_selector('#ivImage_1').click()
image_url = driver.find_element_by_class_name("fullscreen").get_attribute("src")
print(image_url)

#if you want to download
import requests
resp = requests.get(image_url)
with open("asd.png", "wb")as image:
    image.write(resp.content)

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

创建动态网页

来自分类Dev

动态网页的搜索功能

来自分类Dev

如何使用PHP从动态网页中抓取页面链接?

来自分类Dev

使用Ghost.py用python屏幕抓取动态网页

来自分类Dev

使用scrapy搜寻动态网页以获取数据

来自分类Dev

我回来后的动态网页

来自分类Dev

使用jsoup解析动态增长的网页

来自分类Dev

如何通过Python抓取动态网页

来自分类Dev

使用Scrapy从动态网页中抓取网址

来自分类Dev

使用django和python的动态网页

来自分类Dev

在动态网页中使用Python抓取按钮下载csv

来自分类Dev

无法抓取动态网页

来自分类Dev

网页抓取动态网页Python

来自分类Dev

还有什么其他方法可以从动态网站提取数据,而不是使用硒?

来自分类Dev

使用Selenium从动态网页中抓取内容会返回错误的内容

来自分类Dev

检索动态网页内容PyQt5

来自分类Dev

呈现动态网页,找不到我的JavaScript文件

来自分类Dev

当XML / XPath似乎不起作用时,如何使用Excel VBA从动态网页中解析值?

来自分类Dev

使用R从动态网页提取文本

来自分类Dev

当内容不断变化时,使用Firebug或Chrome开发工具检查动态网页

来自分类Dev

如何在Tomcat中部署Eclipse动态网页?

来自分类Dev

如何查看动态网页是否被更新?

来自分类Dev

如果在网址中使用https,则不会显示动态网页内容

来自分类Dev

动态网页设计,新手

来自分类Dev

使用Ghost.py用python屏幕抓取动态网页

来自分类Dev

在python循环中刷新动态网页

来自分类Dev

我可以在静态网站中创建动态网页吗?

来自分类Dev

使用 PHP 将动态网页内容显示在导航栏顶部

来自分类Dev

VBA HTML 抓取。使用动态网页,但无法指明所需的特定数据点

Related 相关文章

热门标签

归档