codecamp

scrapy 2.3 图像处理实例

为了使用媒体管道,首先 enable it .

那么,如果蜘蛛返回一个 item object 使用URL字段 (​file_urls​ 或 ​image_urls​ ,对于文件或图像管道),管道会将结果放在相应的字段下 (​files​ 或 ​images​ )

使用时 item types 对于预先定义的字段,必须同时定义url字段和results字段。例如,当使用图像管道时,项必须同时定义 ​image_urls​ 以及 ​images​ 字段。例如,使用 ​Item​ 班级:

import scrapy

class MyItem(scrapy.Item):
    # ... other item fields ...
    image_urls = scrapy.Field()
    images = scrapy.Field()

如果要对URL键或结果键使用其他字段名,也可以重写它。

对于文件管道,设置 ​FILES_URLS_FIELD​ 和/或 ​FILES_RESULT_FIELD​ 设置::

FILES_URLS_FIELD = 'field_name_for_your_files_urls'
FILES_RESULT_FIELD = 'field_name_for_your_processed_files'

对于图像管道,设置 ​IMAGES_URLS_FIELD​ 和/或 ​IMAGES_RESULT_FIELD​ 设置::

IMAGES_URLS_FIELD = 'field_name_for_your_images_urls'
IMAGES_RESULT_FIELD = 'field_name_for_your_processed_images'

如果您需要更复杂的内容,并且想要覆盖自定义管道行为,请参见 扩展媒体管道 .

如果有多个图像管道继承自ImagePipeline,并且希望在不同的管道中具有不同的设置,则可以设置以管道类的大写名称开头的设置键。例如,如果您的管道名为mypipeline,并且您希望有自定义图像URL字段,那么您可以定义设置mypipeline图像URL字段,并且将使用自定义设置。

scrapy 2.3 支持的存储
scrapy 2.3 下载处理其他功能
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

scrapy 2.3 链接提取器

scrapy 2.3 统计数据集合

scrapy 2.3 发送电子邮件

scrapy 2.3 蜘蛛合约

scrapy 2.3 如何部署蜘蛛

scrapy 2.3 AutoThrottle扩展

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }