BeautifulSoupを使用してデータをデータフレームにスクレイピングします

emmanueledu

私はカリフォルニアの宝くじからデータをスクレイプして解析するプロジェクトに取り組んでいます dataframe

これまでの私のコードは次のとおりです。エラーは発生しません、出力も発生しません

import requests
from bs4 import BeautifulSoup as bs4

draw = 'http://www.calottery.com/play/draw-games/superlotto-plus/winning-numbers/?page=1'
page = requests.get(draw) 
soup = bs4(page.text)

drawing_list = []

for table_row in soup.select("table.tag_even_numbers tr"):
    cells = table_row.findAll('td')

    if len(cells) > 0:
        draw_date = cells[0].text.strip()
        numbers = cells[1].text.strip()
        mega = cells[2].text.strip()

        drawings = {'dates': draw_date, 'winning_numbers': numbers, 'mega_number': mega}
        drawing_list.append(drawings)
        print "added {0} {1} {2}, to the list".format(draw_date, numbers, mega)

期待される出力:テーブルの行をスクレイプしてdataframe

draw_date  | numbers        | mega
-----------|----------------|-----
12/06/2017 | 12 24 07 01 02 | 23
12/02/2017 | 33 18 07 42 40 | 7

正しい方向への修正または支援に感謝します。

tmadam

"table.tag_even_numbers tr"テーブルには「tag_even_numbers」クラスがないため、この式は何も選択しませんが、「tag_even」クラスと「numbers」クラスがあります。

したがって、これを変更すると、次のようになります。

soup.select("table.tag_even_numbers tr")  

に:

soup.select("table.tag_even.numbers tr")

に20個のアイテムが必要ですdrawing_list

また、を使用.textして選択numbersすると、すべての数値が文字列に並べて結合されます。
番号のリストが必要な場合.stripped_stringsは、代わりに使用する必要があります。例:

numbers = list(cells[1].stripped_strings)

次にdrawing_list、次の例からデータフレームを作成できます

df = pd.DataFrame(drawing_list)
print(df.head())

                 dates mega_number       winning_numbers
0   Dec 6, 2017 - 3201          23  [12, 24, 07, 01, 02]
1   Dec 2, 2017 - 3200           7  [33, 18, 07, 42, 40]
2  Nov 29, 2017 - 3199           6  [03, 33, 26, 27, 07]
3  Nov 25, 2017 - 3198          19  [21, 46, 13, 25, 17]
4  Nov 22, 2017 - 3197           3  [32, 40, 27, 42, 08]

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

beautifulsoupを使用してスクリプトタグからデータをスクレイピングします

分類Dev

BeautifulSoupを使用してテーブルをデータフレームにスクレイプします

分類Dev

BeautifulSoup を使用してスクレイピングされたテキストを Pandas データ フレームに変換する

分類Dev

beautifulSoupを使用して<td>タグからデータを個別にスクレイピングする方法は?

分類Dev

python + beautifulSoup4を使用して動的グラフからデータをスクレイピングする

分類Dev

python + beautifulSoup4を使用して動的グラフからデータをスクレイピングする

分類Dev

BeautifulSoupまたはPandasを使用してテーブルデータをスクレイピングする

分類Dev

BeautifulSoupとRequestsand Pandasを使用して、<div>内の<span>からデータをスクレイピングします。

分類Dev

インデックス上にstr.count()を使用してデータフレームを作成します

分類Dev

BeautifulSoupを使用してWebサイトからデータをスクレイピングする際の問題

分類Dev

XMLパッケージを使用してhtmlテーブルをRデータフレームにスクレイピングする

分類Dev

BeautifulSoupを使用してBTC / ETHのinvesting.comからデータをスクレイピングする

分類Dev

BeautifulSoupを使用してhtmlから特定のデータをスクレイピングする

分類Dev

R:RSeleniumからスクレイピングされたデータを使用してデータフレームを作成する

分類Dev

ループ関数を使用して、データフレームをデータフレームのリストにフィルタリングします

分類Dev

セレンはパンダのデータフレームにデータをスクレイピングしました

分類Dev

ウィキペディアをRでスクレイピングして、リストとデータフレームを作成します

分類Dev

インデックス、列名、元の値に基づいてパンダのデータフレームをマッピングしますか?

分類Dev

列と行のインデックスを変数として使用して、パンダのデータフレームにデータを入力します

分類Dev

Rvestを使用してデータをスクレイピングする方法

分類Dev

Nokogiriを使用してデータをスクレイピングする:「undefinedmethod `text '」

分類Dev

Scrapyを使用して階層データをスクレイピングする

分類Dev

html フォームの値を変更して Web データをスクレイピングする R

分類Dev

インデックスに基づいてデータフレームを更新し、新しいデータフレームを追加します

分類Dev

スクレイピングを使用してウェブサイトをクロールし、スクレイピングされたデータをアイテムクラスの変数に保存しようとしています

分類Dev

Python Pandasは、ディクトマッピングを使用してデータフレームの各列にフォーマットを適用します

分類Dev

イテレータを使用してデータにアクセスします。ブーストグラフ

分類Dev

イテレータを使用してデータにアクセスします。ブーストグラフ

分類Dev

cssセレクターを使用してWebサイトからデータをスクレイピングすることはvbaに優れています

Related 関連記事

  1. 1

    beautifulsoupを使用してスクリプトタグからデータをスクレイピングします

  2. 2

    BeautifulSoupを使用してテーブルをデータフレームにスクレイプします

  3. 3

    BeautifulSoup を使用してスクレイピングされたテキストを Pandas データ フレームに変換する

  4. 4

    beautifulSoupを使用して<td>タグからデータを個別にスクレイピングする方法は?

  5. 5

    python + beautifulSoup4を使用して動的グラフからデータをスクレイピングする

  6. 6

    python + beautifulSoup4を使用して動的グラフからデータをスクレイピングする

  7. 7

    BeautifulSoupまたはPandasを使用してテーブルデータをスクレイピングする

  8. 8

    BeautifulSoupとRequestsand Pandasを使用して、<div>内の<span>からデータをスクレイピングします。

  9. 9

    インデックス上にstr.count()を使用してデータフレームを作成します

  10. 10

    BeautifulSoupを使用してWebサイトからデータをスクレイピングする際の問題

  11. 11

    XMLパッケージを使用してhtmlテーブルをRデータフレームにスクレイピングする

  12. 12

    BeautifulSoupを使用してBTC / ETHのinvesting.comからデータをスクレイピングする

  13. 13

    BeautifulSoupを使用してhtmlから特定のデータをスクレイピングする

  14. 14

    R:RSeleniumからスクレイピングされたデータを使用してデータフレームを作成する

  15. 15

    ループ関数を使用して、データフレームをデータフレームのリストにフィルタリングします

  16. 16

    セレンはパンダのデータフレームにデータをスクレイピングしました

  17. 17

    ウィキペディアをRでスクレイピングして、リストとデータフレームを作成します

  18. 18

    インデックス、列名、元の値に基づいてパンダのデータフレームをマッピングしますか?

  19. 19

    列と行のインデックスを変数として使用して、パンダのデータフレームにデータを入力します

  20. 20

    Rvestを使用してデータをスクレイピングする方法

  21. 21

    Nokogiriを使用してデータをスクレイピングする:「undefinedmethod `text '」

  22. 22

    Scrapyを使用して階層データをスクレイピングする

  23. 23

    html フォームの値を変更して Web データをスクレイピングする R

  24. 24

    インデックスに基づいてデータフレームを更新し、新しいデータフレームを追加します

  25. 25

    スクレイピングを使用してウェブサイトをクロールし、スクレイピングされたデータをアイテムクラスの変数に保存しようとしています

  26. 26

    Python Pandasは、ディクトマッピングを使用してデータフレームの各列にフォーマットを適用します

  27. 27

    イテレータを使用してデータにアクセスします。ブーストグラフ

  28. 28

    イテレータを使用してデータにアクセスします。ブーストグラフ

  29. 29

    cssセレクターを使用してWebサイトからデータをスクレイピングすることはvbaに優れています

ホットタグ

アーカイブ