从网站获取不同参与者的姓名时遇到问题

机器人.txt

我试图只从网页中获取不同参与者的姓名,但是当我在下面运行我的脚本时,它什么也没有获取。它也不会抛出任何错误。我知道内容是高度动态的并且在页面源中不可用,但仍然有几种方法可以获取它们,例如使用脚本标记或开发工具中可用的公共 api。我试图找到所有这些,但没有线索继续前进。

网站地址

这些是我想抓取的图像中的名称当页面打开时,Esports应自动选择左侧面板中选项卡。

这是我迄今为止尝试过的:

import requests
from bs4 import BeautifulSoup

url = 'find the link above'

res = requests.get(url,headers={"User-Agent":"Mozilla/5.0"})
soup = BeautifulSoup(res.text,'lxml')
for items in soup.select(".gll-MarketGroup_Wrapper"):
    data = [item.text for item in items.select("[class$='_NameContainer']")]
    print(data)

如何使用请求仅从该站点获取名称?

幸运扎卡里

我尝试使用该网站拥有的一个奇怪的 api 端点,我不得不使用正则表达式来解析它。但是,如果您过于频繁地请求端点,有时这需要多次尝试。如果你找不到更好的方法来解决这个问题,那么这应该没问题。抱歉,这不是 100%

代码

import requests
from bs4 import BeautifulSoup
import re

def attempt_get_api(attempt):
    headers = {'User-Agent': 'Mozilla/5.0'}
    url = 'https://www.bet365.com.au/SportsBook.API/web?zid=0&pd=%23AC%23B151%23C1%23D50%23E2%23F163%23&cid=13&ctid=13'
    r = requests.get(url, headers=headers, allow_redirects=False)
    text = r.text
    #print(text)
    games = re.finditer(r'NA=(.*?);', text)
    print('Attempt = ' + str(attempt))

    activated=False
    for game in games:
        activated=True
        if 'v' in game.group():
            print(game.group(1))

    if not activated:
        print(r.text)
        if attempt > 5:
            print("Too many attempts, quitting.")
            quit()
        attempt_get_api(attempt+1)

attempt_get_api(1)

输出

Attempt = 1
Trap v Cure
herO v TY
Maru v Solar
Stats v Rogue
Classic v RagnaroK
Dear v Zest
Overwatch - OWL Play-Ins
Philadelphia Fusion v Shanghai Dragons
LNG Academy v SDX Gaming
Gama Dream v Dominus Esports.Y
Team WE Academy v TS Gaming
D7G Esports Club v Invictus Gaming Young
Oh My Dream v Young Miracles
LinGan e-Sports v Bilibili Gaming Junior
Scorpio Game v Suning Gaming-S
Victorious Gaming v FunPlus Phoenix Blaze
87 v Top Esports Challenger
Rogue Warriors Shark v Legend Esport Gaming
Neon Esports v Sunrise
Team Aspirations v Sunrise
Look For Sponsors v Five Brothers
Chiefs Esports Club v MAMMOTH
Overwatch - Contenders
Gen.G esports v Element Mystic
O2 Blast v RunAway
Mindfreak v ORDER
Griffin v SK Telecom T1
J Team v ahq e-Sports club
FunPlus Phoenix v Bilibili Gaming
Top Esports v Royal Never Give Up
Lowkey Esports v Dashing Buffalo
GAM Esports v Team Flash
Lucky Future v Bilibili Gaming
SN Gaming v Team WE
RNGU v Invictus Gaming
Titanar Gaming v LP Esports
G2 Esports v AVANGAR
MiBR v Natus Vincere
FaZe v Renegades
Team Vitality v mousesports
Astralis v CR4ZY
Team Liquid v North
Moops v Brute
eSuba v eXtatus
Royal Youth v SuperMassive
G2 Esports v Fnatic
All Knights v Isurus Gaming
Crest Gaming Act v V3 Esports
Flash v Snow
Fnatic Rising v Excel UK
Vodafone Giants v Origen BCN
KINGZONE DragonX v Afreeca Freecs
MAD Team v G-Rex
Flash Wolves v Hong Kong Attitude
Clutch Gaming v FlyQuest
Flamengo v INTZ
Origen v Splyce

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

获取参与者姓名MSConversation

来自分类Dev

获取网站的https证书时遇到问题

来自分类Dev

迁移Joomla网站时遇到问题

来自分类Dev

如何在MSConversation中检索参与者的姓名?

来自分类Dev

从foreach获取价值时遇到问题

来自分类Dev

从foreach获取价值时遇到问题

来自分类Dev

使用单个查询从两个不同的 mysql 表中获取数据时遇到问题..!

来自分类Dev

如何创建两个不同的测试参与者

来自分类Dev

使用Symfony FosMessageBundle或OrnicarMessageBundle加载线程参与者的问题

来自分类Dev

BitBucket获取所有参与者的列表

来自分类Dev

如何使用 composer cli 获取注册参与者的“秘密”

来自分类Dev

如何获取特定节点参与者的“PartyAndCertificate”?

来自分类Dev

使用ElementTree获取XML元素时遇到问题

来自分类Dev

我在获取字符串时遇到问题

来自分类Dev

获取Spotify歌曲的元数据时遇到问题

来自分类Dev

使用Spring获取表单数据时遇到问题

来自分类Dev

CoreDNS在获取端点,服务,命名空间时遇到问题

来自分类Dev

从Twitter获取采样流时遇到问题(Python)

来自分类Dev

我在从html表获取数据时遇到问题

来自分类Dev

获取Azure AD用户的组时遇到问题

来自分类Dev

使用Python从AJAX获取数据时遇到问题

来自分类Dev

Google图表获取this.J [a] .c时遇到问题

来自分类Dev

GoogleSpreadsheets UrlFetchApp.fetch在获取数据时遇到问题

来自分类Dev

在使用PHP获取类上的变量时遇到问题

来自分类Dev

在获取UTC Android的实际时间时遇到问题

来自分类Dev

用户提交表单后获取ID时遇到问题

来自分类Dev

使用路由属性获取参数时遇到问题

来自分类Dev

获取当前帖子标题时遇到问题

来自分类Dev

使用ReactJS从JSON获取数据时遇到问题

Related 相关文章

  1. 1

    获取参与者姓名MSConversation

  2. 2

    获取网站的https证书时遇到问题

  3. 3

    迁移Joomla网站时遇到问题

  4. 4

    如何在MSConversation中检索参与者的姓名?

  5. 5

    从foreach获取价值时遇到问题

  6. 6

    从foreach获取价值时遇到问题

  7. 7

    使用单个查询从两个不同的 mysql 表中获取数据时遇到问题..!

  8. 8

    如何创建两个不同的测试参与者

  9. 9

    使用Symfony FosMessageBundle或OrnicarMessageBundle加载线程参与者的问题

  10. 10

    BitBucket获取所有参与者的列表

  11. 11

    如何使用 composer cli 获取注册参与者的“秘密”

  12. 12

    如何获取特定节点参与者的“PartyAndCertificate”?

  13. 13

    使用ElementTree获取XML元素时遇到问题

  14. 14

    我在获取字符串时遇到问题

  15. 15

    获取Spotify歌曲的元数据时遇到问题

  16. 16

    使用Spring获取表单数据时遇到问题

  17. 17

    CoreDNS在获取端点,服务,命名空间时遇到问题

  18. 18

    从Twitter获取采样流时遇到问题(Python)

  19. 19

    我在从html表获取数据时遇到问题

  20. 20

    获取Azure AD用户的组时遇到问题

  21. 21

    使用Python从AJAX获取数据时遇到问题

  22. 22

    Google图表获取this.J [a] .c时遇到问题

  23. 23

    GoogleSpreadsheets UrlFetchApp.fetch在获取数据时遇到问题

  24. 24

    在使用PHP获取类上的变量时遇到问题

  25. 25

    在获取UTC Android的实际时间时遇到问题

  26. 26

    用户提交表单后获取ID时遇到问题

  27. 27

    使用路由属性获取参数时遇到问题

  28. 28

    获取当前帖子标题时遇到问题

  29. 29

    使用ReactJS从JSON获取数据时遇到问题

热门标签

归档