我使用scrapy抓取1000个URL，并将已刮擦的项目存储在mongodb中。我想知道每个网址有多少个项目。从不可靠的统计信息中我可以看到，'item_scraped_count': 3500但是，我需要分别为每个start_url进行此计数。还有referer对每个项目，我可能会用手工清点每个URL项目领域：
2016-05-24 15:15:10 [scrapy] DEBUG: Crawled (200) <GET https://www.youtube.com/watch?v=6w-_ucPV674> (referer: https://www.youtube.com/results?q=billys&sp=EgQIAhAB)
但是我想知道是否有来自scrapy的内置支持。
已接受的挑战！
没有任何东西scrapy可以直接支持此功能，但是您可以使用以下代码将其与您的Spider代码分开Spider Middleware：
middlewares.py
from scrapy.http.request import Request
class StartRequestsCountMiddleware(object):
start_urls = {}
def process_start_requests(self, start_requests, spider):
for i, request in enumerate(start_requests):
self.start_urls[i] = request.url
request.meta.update(start_request_index=i)
yield request
def process_spider_output(self, response, result, spider):
for output in result:
if isinstance(output, Request):
output.meta.update(
start_request_index=response.meta['start_request_index'],
)
else:
spider.crawler.stats.inc_value(
'start_requests/item_scraped_count/{}'.format(
self.start_urls[response.meta['start_request_index']],
),
)
yield output
请记住在以下位置激活它settings.py：
SPIDER_MIDDLEWARES = {
...
'myproject.middlewares.StartRequestsCountMiddleware': 200,
}
现在，您应该可以在蜘蛛统计信息中看到如下所示的内容：
'start_requests/item_scraped_count/START_URL1': ITEMCOUNT1,
'start_requests/item_scraped_count/START_URL2': ITEMCOUNT2,
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句