如何从页面获取链接-BeautifulSoup

虚空S

我只希望页面的每个块的href /链接,但它会产生空白

到目前为止,这是我的代码

from bs4 import BeautifulSoup
import requests
lists=[]
baseurl='https://meetinglibrary.asco.org/'
for x in range (1,5):
    url=f'https://meetinglibrary.asco.org/results?meetingView=2020%20ASCO%20Virtual%20Scientific%20Program&page={x}'
    r=requests.get(url)
    soup=BeautifulSoup(r.content,'html.parser')
    productlist=soup.find_all('a',class_='ng-star-inserted')
    for item in productlist:
        print(item)
沙耶耶卜

新答案:

它没有给出任何结果的原因是因为目标网站使用JavaScript来呈现内容,而BeautifulSoup不处理JavaScript而是仅在纯HTML上工作。要抓取JavaScript渲染页面,您需要Selenium之类的东西

旧答案:

您可以使用CSS属性选择器来选择ahref定义属性的标签,并使用BeautifulSoup进行操作,您可以使用如下select方法

from bs4 import BeautifulSoup
import requests
lists=[]
baseurl='https://meetinglibrary.asco.org/'
for x in range (1,5):
    url=f'https://meetinglibrary.asco.org/results?meetingView=2020%20ASCO%20Virtual%20Scientific%20Program&page={x}'
    r=requests.get(url)
    soup=BeautifulSoup(r.content,'html.parser')
    productlist=soup.select('a[href].ng-star-inserted')
    for item in productlist:
        print(item.attr.get("href"))

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何在BeautifulSoup中从onclickvalue获取链接?

来自分类Dev

如何使用BeautifulSoup从网站获取href链接

来自分类Dev

如何从网页获取链接-BeautifulSoup / Python

来自分类Dev

Beautifulsoup:如何从列表中获取某些链接?

来自分类Dev

BeautifulSoup获取文本链接?

来自分类Dev

BeautifulSoup HTML获取src链接

来自分类Dev

BeautifulSoup获取链接的内容/文本

来自分类Dev

Python Beautifulsoup 获取超链接

来自分类Dev

如何使用beautifulsoup从链接获取文本和URL

来自分类Dev

如何使用BeautifulSoup仅获取列表中文章的链接

来自分类Dev

使用beautifulsoup从HTML获取链接文本

来自分类Dev

使用BeautifulSoup在html中获取链接

来自分类Dev

BeautifulSoup 获取其中的链接和信息

来自分类Dev

无法从BeautifulSoup的页面获取实际的标记

来自分类Dev

python BeautifulSoup从垃圾页面获取变量

来自分类Dev

BeautifulSoup:如何获取嵌套的div

来自分类Dev

beautifulsoup不打印链接

来自分类Dev

Beautifulsoup返回双链接

来自分类Dev

遍历页面元素beautifulsoup

来自分类Dev

Beautifulsoup 无法读取页面

来自分类Dev

如何使用BeautifulSoup在HTML中抓取链接

来自分类Dev

如何加载BeautifulSoup页面解析器?

来自分类Dev

如何使用BeautifulSoup和Python抓取页面?

来自分类Dev

如何跳到特定页面usinig Beautifulsoup

来自分类Dev

使用 BeautifulSoup 从 <a href 标签中提取特定页面链接

来自分类Dev

使用BeautifulSoup从网页获取链接并滚动以获取更多信息

来自分类Dev

如何使用beautifulsoup和python仅获取mp3链接

来自分类Dev

如何使用BeautifulSoup获取最后一个URL链接元素

来自分类Dev

Webcrawler BeautifulSoup-如何从没有类标签的链接中获取标题

Related 相关文章

热门标签

归档