Scrapy crawls in DFO order by default .

然而，在广泛的爬行中，页面爬行往往比页面处理更快。因此，未处理的早期请求将保留在内存中，直到达到最终深度，这可以显著增加内存使用量。

Crawl in BFO order 而是保存内存。