私がスクレイプしようとしているWebサイトには、次のページがあります。
ここまでは順調ですね。必要なすべてのデータを取得することはできますが、唯一の問題は、ページをその章に、または章をその本に参照することです。私はこのように本の情報をメタに渡すことについて読みました:
scrapy.Request(url=url, callback=self.parse_chapter, meta={book: book})
しかし、アイテムパイプラインでそれらを参照する方法がわかりません。何か助けはありますか?
クロール中にアイテムを参照する方法はないと思います。それらを1つのテーブルに保存し、スクレイピング後にレコードを分離します。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加