scrapy 2.3 编写自己的项目管道
每个item pipeline组件都是一个python类,必须实现以下方法:
process_item(self, item, spider)对每个项管道组件调用此方法。
item 是一个 item object 见 支持所有项目类型 .
process_item() 必须:返回 item object 返回A Deferred 或提高 DropItem 例外。丢弃的项目不再由其他管道组件处理。
- 参数
item (item object) -- 管道的东西
spider (
Spider object) -- 爬取项目的蜘蛛
此外,它们还可以实现以下方法: