我有多个蜘蛛在多个实例（4）中并行运行。他们都使用几乎100％的CPU使用率。
我已经使用scrapyd部署了它们。尝试将scrapyd设置（例如max_concurrent_requests，CONCURRENT_REQUESTS，CONCURRENT_REQUESTS_PER_DOMAIN）更改为最小但没有运气。
我正在使用python 2.7.5和scrapy 0.24
我已经在Google上寻找解决方案，并找到了此页面
https://groups.google.com/forum/#!topic/scrapy-users/Rgq07ldcoPs
我找不到他们的解决方案
提前致谢
解决了这个问题。问题是频繁的Mysql更新，最终导致CPU负载。在管道中引入了微小的延迟以减少负载，从而解决了整个问题。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句