Scrapyを使用して階層データをスクレイピングする

ポールサントス

私がスクレイプしようとしているWebサイトには、次のページがあります。

  • すべての本のリスト
  • すべての章を含む本の情報ページ
  • チャプターをクリックすると、最初のページが表示され、そのチャプターのすべてのページのドロップダウンが利用可能になります

ここまでは順調ですね。必要なすべてのデータを取得することはできますが、唯一の問題は、ページをその章に、または章をその本に参照することです。私はこのように本の情報をメタに渡すことについて読みました:

scrapy.Request(url=url, callback=self.parse_chapter, meta={book: book})

しかし、アイテムパイプラインでそれらを参照する方法がわかりません。何か助けはありますか?

ポールサントス

クロール中にアイテムを参照する方法はないと思います。それらを1つのテーブルに保存し、スクレイピング後にレコードを分離します。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

Scrapyを使用してテーブルからデータをスクレイピングする

分類Dev

Scrapyを使用してスクレイピングされたデータからDataFrameを構築する

分類Dev

Rvestを使用してデータをスクレイピングする方法

分類Dev

Nokogiriを使用してデータをスクレイピングする:「undefinedmethod `text '」

分類Dev

Scrapyを使用してスクレイピングデータを複数の形式でエクスポートする

分類Dev

2つのPandasデータフレーム(ピボットされている)を列の階層インデックスとマージする方法

分類Dev

Scrapy:ページ付けリンクをたどってデータをスクレイピングします

分類Dev

Java7-クラス階層を介してデータをストリーミングする

分類Dev

Seleniumがscrapy-seleniumモジュールを使用して複数のJavaScriptページからデータをスクレイピングする

分類Dev

Scrapyでadmin-ajax.phpを使用してWebサイトからデータをスクレイピングする方法

分類Dev

<li>タグを使用してWebサイトからhtmlデータをスクレイピングする

分類Dev

Scrapyを使用してJSON内のHTMLをスクレイピングする

分類Dev

セレンを使用してテーブルからデータをスクレイピングする

分類Dev

Scrapy:複数のデータをスクレイピングする

分類Dev

beautifulSoupを使用して<td>タグからデータを個別にスクレイピングする方法は?

分類Dev

Numpyを使用して階層化することで、データをトレーニング、テスト、検証に分割します

分類Dev

セレンを使用してHighchartsからデータをスクレイピングする

分類Dev

python + beautifulSoup4を使用して動的グラフからデータをスクレイピングする

分類Dev

python + beautifulSoup4を使用して動的グラフからデータをスクレイピングする

分類Dev

BeautifulSoupを使用してデータをデータフレームにスクレイピングします

分類Dev

seaborn clustermapを使用して、階層的クラスタリングでクラスターの行を抽出します

分類Dev

Pythonを使用して.ASPXWebサイトのURLからデータをスクレイピングする

分類Dev

BeautifulSoupを使用してWebサイトからデータをスクレイピングする際の問題

分類Dev

lxmlを使用してデータをスクレイピングする際のxpathの使用

分類Dev

「ネストされた」iframeからvbaを使用してデータをスクレイピングする

分類Dev

imdb top 250データをスクレイピングし、Pythonを使用してPowerPointで複製する

分類Dev

「もっと見る」を使用してデータをスクレイピングする

分類Dev

beautifulsoupを使用してスクリプトタグからデータをスクレイピングします

分類Dev

Rのrvestを使用してhtmlWebページから特定のデータをスクレイピングする

Related 関連記事

  1. 1

    Scrapyを使用してテーブルからデータをスクレイピングする

  2. 2

    Scrapyを使用してスクレイピングされたデータからDataFrameを構築する

  3. 3

    Rvestを使用してデータをスクレイピングする方法

  4. 4

    Nokogiriを使用してデータをスクレイピングする:「undefinedmethod `text '」

  5. 5

    Scrapyを使用してスクレイピングデータを複数の形式でエクスポートする

  6. 6

    2つのPandasデータフレーム(ピボットされている)を列の階層インデックスとマージする方法

  7. 7

    Scrapy:ページ付けリンクをたどってデータをスクレイピングします

  8. 8

    Java7-クラス階層を介してデータをストリーミングする

  9. 9

    Seleniumがscrapy-seleniumモジュールを使用して複数のJavaScriptページからデータをスクレイピングする

  10. 10

    Scrapyでadmin-ajax.phpを使用してWebサイトからデータをスクレイピングする方法

  11. 11

    <li>タグを使用してWebサイトからhtmlデータをスクレイピングする

  12. 12

    Scrapyを使用してJSON内のHTMLをスクレイピングする

  13. 13

    セレンを使用してテーブルからデータをスクレイピングする

  14. 14

    Scrapy:複数のデータをスクレイピングする

  15. 15

    beautifulSoupを使用して<td>タグからデータを個別にスクレイピングする方法は?

  16. 16

    Numpyを使用して階層化することで、データをトレーニング、テスト、検証に分割します

  17. 17

    セレンを使用してHighchartsからデータをスクレイピングする

  18. 18

    python + beautifulSoup4を使用して動的グラフからデータをスクレイピングする

  19. 19

    python + beautifulSoup4を使用して動的グラフからデータをスクレイピングする

  20. 20

    BeautifulSoupを使用してデータをデータフレームにスクレイピングします

  21. 21

    seaborn clustermapを使用して、階層的クラスタリングでクラスターの行を抽出します

  22. 22

    Pythonを使用して.ASPXWebサイトのURLからデータをスクレイピングする

  23. 23

    BeautifulSoupを使用してWebサイトからデータをスクレイピングする際の問題

  24. 24

    lxmlを使用してデータをスクレイピングする際のxpathの使用

  25. 25

    「ネストされた」iframeからvbaを使用してデータをスクレイピングする

  26. 26

    imdb top 250データをスクレイピングし、Pythonを使用してPowerPointで複製する

  27. 27

    「もっと見る」を使用してデータをスクレイピングする

  28. 28

    beautifulsoupを使用してスクリプトタグからデータをスクレイピングします

  29. 29

    Rのrvestを使用してhtmlWebページから特定のデータをスクレイピングする

ホットタグ

アーカイブ