如何在此html中选择特定标签?

乔迪

我将如何选择此页面中的所有标题

http://bulletin.columbia.edu/columbia-college/departments-instruction/african-american-studies/#coursestext

例如:我正在尝试获得与此相似的所有行:

AFAS C1001 Introduction to African-American Studies. 3 points.

main_page从这里开始遍历所有学校课程,因此我可以像上面一样抓住所有标题:

http://bulletin.columbia.edu/columbia-college/departments-instruction/  

for page in main_page:
    sub_abbrev = page.find("div", {"class": "courseblock"})

我有这段代码,但是我无法确切地知道如何选择第一个孩子的所有('strong')标签。使用最新的python和漂亮的汤4进行网络抓取。如果还有其他需要,请输入LMK。谢谢

ec

遍历具有courseblock类的元素,然后在每门课程中都获得具有courseblocktitle的元素使用select()select_one()方法的工作示例

import requests
from bs4 import BeautifulSoup


url = "http://bulletin.columbia.edu/columbia-college/departments-instruction/african-american-studies/#coursestext"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")

for course in soup.select(".courseblock"):
    title = course.select_one("p.courseblocktitle").get_text(strip=True)
    print(title)

印刷:

AFAS C1001 Introduction to African-American Studies.3 points.
AFAS W3030 African-American Music.3 points.
AFAS C3930 (Section 3) Topics in the Black Experience: Concepts of Race and Racism.4 points.
AFAS C3936 Black Intellectuals Seminar.4 points.
AFAS W4031 Protest Music and Popular Culture.3 points.
AFAS W4032 Image and Identity in Contemporary Advertising.4 points.
AFAS W4035 Criminal Justice and the Carceral State in the 20th Century United States.4 points.
AFAS W4037 (Section 1) Third World Studies.4 points.
AFAS W4039 Afro-Latin America.4 points.

来自@double_j的一个很好的后续问题:

在OP的示例中,他在两点之间有一个空格。您将如何保留?这就是数据在网站上显示的方式,甚至认为它实际上不在源代码中。

我虽然要使用方法的separator参数,但这也会在最后一个点之前添加一个额外的空间。相反,我将通过以下方式加入元素文本get_text()strongstr.join()

for course in soup.select(".courseblock"):
    title = " ".join(strong.get_text() for strong in course.select("p.courseblocktitle > strong"))
    print(title)

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何在此html中选择特定标签?

来自分类Dev

如何在R Markdown中选择特定标签?

来自分类Dev

如何在R Markdown中选择特定标签?

来自分类Dev

如何使用 JavaScript 从 Mule API html 响应中选择特定标签?

来自分类Dev

如何在jQuery中选择特定索引的HTML标签

来自分类Dev

如何从特定标记中选择数据

来自分类Dev

jQuery选择特定标签

来自分类Dev

xpath选择所有text(),但不从特定标签/类属性中选择

来自分类Dev

如何在PHP的DOMDocument中获取特定标签?

来自分类Dev

如何在Shopify导航中隐藏特定标签?

来自分类Dev

如何在特定标签后应用CSS规则

来自分类Dev

如何在量规图表之外制作特定标签

来自分类Dev

如何在提取xpath时避免使用特定标签

来自分类Dev

如何在HTML标签中选择没有标签的文本(JSoup)

来自分类Dev

如何从HTML表中获取特定标签的值

来自分类Dev

如何在puppeteer js中选择具有多个类名和特定aria标签的按钮?

来自分类Dev

AgilityPack选择innerText但跳过特定标签

来自分类Dev

如何在JSON中选择特定对象

来自分类Dev

如何在SAS中选择特定值

来自分类Dev

如何在引导程序的标签标签中选择ID

来自分类Dev

如何替换包含选定标签的特定标签

来自分类Dev

建立一个SQL“ toxi”标签系统,如何选择带有特定标签的项目?

来自分类Dev

如何在输入中选择的文本周围包裹html标签?

来自分类Dev

使用python上的漂亮汤浏览网站的HTML以选择特定标签

来自分类Dev

如何在特定标签内的xml中获取所有嵌套标签和文本?

来自分类Dev

如何在Asp.Net Core Razor标签页中的帖子上刷新特定标签

来自分类Dev

如何在Python中使用标签名称在特定标签内获取文本

来自分类Dev

如果数据库没有为 angular 5 移动应用程序中的特定标签返回任何值,如何在 html 中隐藏标签?

来自分类Dev

如何在事件(车把/流星)中选择辅助标签

Related 相关文章

  1. 1

    如何在此html中选择特定标签?

  2. 2

    如何在R Markdown中选择特定标签?

  3. 3

    如何在R Markdown中选择特定标签?

  4. 4

    如何使用 JavaScript 从 Mule API html 响应中选择特定标签?

  5. 5

    如何在jQuery中选择特定索引的HTML标签

  6. 6

    如何从特定标记中选择数据

  7. 7

    jQuery选择特定标签

  8. 8

    xpath选择所有text(),但不从特定标签/类属性中选择

  9. 9

    如何在PHP的DOMDocument中获取特定标签?

  10. 10

    如何在Shopify导航中隐藏特定标签?

  11. 11

    如何在特定标签后应用CSS规则

  12. 12

    如何在量规图表之外制作特定标签

  13. 13

    如何在提取xpath时避免使用特定标签

  14. 14

    如何在HTML标签中选择没有标签的文本(JSoup)

  15. 15

    如何从HTML表中获取特定标签的值

  16. 16

    如何在puppeteer js中选择具有多个类名和特定aria标签的按钮?

  17. 17

    AgilityPack选择innerText但跳过特定标签

  18. 18

    如何在JSON中选择特定对象

  19. 19

    如何在SAS中选择特定值

  20. 20

    如何在引导程序的标签标签中选择ID

  21. 21

    如何替换包含选定标签的特定标签

  22. 22

    建立一个SQL“ toxi”标签系统,如何选择带有特定标签的项目?

  23. 23

    如何在输入中选择的文本周围包裹html标签?

  24. 24

    使用python上的漂亮汤浏览网站的HTML以选择特定标签

  25. 25

    如何在特定标签内的xml中获取所有嵌套标签和文本?

  26. 26

    如何在Asp.Net Core Razor标签页中的帖子上刷新特定标签

  27. 27

    如何在Python中使用标签名称在特定标签内获取文本

  28. 28

    如果数据库没有为 angular 5 移动应用程序中的特定标签返回任何值,如何在 html 中隐藏标签?

  29. 29

    如何在事件(车把/流星)中选择辅助标签

热门标签

归档