Concurrency是并行处理的请求数。存在全局限制 (​CONCURRENT_REQUESTS​ ）以及每个域都可以设置的附加限制 (​CONCURRENT_REQUESTS_PER_DOMAIN​ ）或每IP (​CONCURRENT_REQUESTS_PER_IP​ ）

注解

调度程序优先级队列 recommended for broad crawls 不支持 ​CONCURRENT_REQUESTS_PER_IP​ .

scrapy中的默认全局并发限制不适用于并行地对许多不同的域进行爬网，因此您需要增加它。增加多少将取决于您的爬虫有多少CPU和内存可用。

一个好的起点是 100 ：：

CONCURRENT_REQUESTS = 100

但最好的方法是做一些试验，并确定零碎的进程在什么样的并发上受到CPU限制。为了获得最佳性能，您应该选择CPU使用率为80-90%的并发性。

增加并发性也会增加内存使用量。如果担心内存使用问题，您可能需要相应地降低全局并发限制。