如何使用Python和BeautifulSoup中的类过滤标签？

debugcn 发表于 Dev

m4rk_Henry_ftw

我正在尝试使用beautifulsoup HTML解析器从网站上抓取图像。

该站点上的每个图像都有2种图像标签。一个用于缩略图，另一个用于较大尺寸的图像，该图像仅在单击缩略图并展开后才会显示。较大的标签包含class =“ expanded-image”属性。

我正在尝试通过HTML进行解析，并获取包含图像源的扩展图像的“ src”属性。

当我尝试执行代码时，什么也没有发生。它只是说过程完成了，没有刮任何图像。但是，当我不尝试过滤代码并仅将tag作为参数时，它将下载所有缩略图。

这是我的代码：

import webbrowser, requests, os
from bs4 import BeautifulSoup

def getdata(url):
    r = requests.get(url)
    return r.text

htmldata = getdata('https://boards.4chan.org/a/thread/30814')
soup = BeautifulSoup(htmldata, 'html.parser')

list = []

for i in soup.find_all("img",{"class":"expanded-thumb"}):
    list.append(i['src'].replace("//","https://"))

def download(url, pathname):
    if not os.path.isdir(pathname):
        os.makedirs(pathname)

    filename = os.path.join(pathname, url.split("/")[-1])
    response = requests.get(url, stream=True)

    with open(filename, "wb") as f:
        f.write(response.content)

for a in list:
    download(a,"file")

路德维斯珀斯

使用“列表”作为变量名可能会遇到问题。这是python中的一种类型。从此开始（用所需的任何线程替换TEST_4CHAN_URL），并结合上面注释中的建议。

import requests
from bs4 import BeautifulSoup

TEST_4CHAN_URL = "https://boards.4chan.org/a/thread/<INSERT_THREAD_ID_HERE>"

def getdata(url):
    r = requests.get(url)
    return r.text

htmldata = getdata(TEST_4CHAN_URL)
soup = BeautifulSoup(htmldata, "html.parser")

src_list = []

for i in soup.find_all("a", {"class":"fileThumb"}):
    src_list.append(i['href'].replace("//", "https://"))

print(src_list)

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。