scrapy 2.3 图像处理实例
为了使用媒体管道,首先 enable it .
那么,如果蜘蛛返回一个 item object 使用URL字段 (file_urls
或 image_urls
,对于文件或图像管道),管道会将结果放在相应的字段下 (files
或 images
)
使用时 item types 对于预先定义的字段,必须同时定义url字段和results字段。例如,当使用图像管道时,项必须同时定义 image_urls
以及 images
字段。例如,使用 Item
班级:
import scrapy
class MyItem(scrapy.Item):
# ... other item fields ...
image_urls = scrapy.Field()
images = scrapy.Field()
如果要对URL键或结果键使用其他字段名,也可以重写它。
对于文件管道,设置 FILES_URLS_FIELD
和/或 FILES_RESULT_FIELD
设置::
FILES_URLS_FIELD = 'field_name_for_your_files_urls'
FILES_RESULT_FIELD = 'field_name_for_your_processed_files'
对于图像管道,设置 IMAGES_URLS_FIELD
和/或 IMAGES_RESULT_FIELD
设置::
IMAGES_URLS_FIELD = 'field_name_for_your_images_urls'
IMAGES_RESULT_FIELD = 'field_name_for_your_processed_images'
如果您需要更复杂的内容,并且想要覆盖自定义管道行为,请参见 扩展媒体管道 .
如果有多个图像管道继承自ImagePipeline,并且希望在不同的管道中具有不同的设置,则可以设置以管道类的大写名称开头的设置键。例如,如果您的管道名为mypipeline,并且您希望有自定义图像URL字段,那么您可以定义设置mypipeline图像URL字段,并且将使用自定义设置。