codecamp

scrapy 2.3 存储URI参数

存储URI还可以包含在创建源时被替换的参数。这些参数是：

  • ​%(time)s​ -在创建源时被时间戳替换
  • ​%(name)s​ -替换为蜘蛛名称

任何其他命名参数都将被同名的spider属性替换。例如， ​%(site_id)s​ 将被替换为 ​spider.site_id​ 属性为正在创建源的时刻。

下面举例说明：

  • 使用每个spider一个目录存储在ftp中：
  • ftp://user:password@ftp.example.com/scraping/feeds/%(name)s/%(time)s.json
  • 使用每个spider一个目录存储在S3中：
  • ​s3://mybucket/scraping/feeds/%(name)s/%(time)s.json​

scrapy 2.3 储藏室
scrapy 2.3 存储后端
温馨提示
下载编程狮App，免费阅读超1000+编程语言教程
取消
确定
目录

scrapy 2.3 安装指南

scrapy 2.3 教程

scrapy 2.3 命令行工具

scrapy 2.3 蜘蛛

scrapy 2.3 选择器

scrapy 2.3 使用选择器

scrapy 2.3 使用xpaths

scrapy 2.3 内置选择器引

scrapy 2.3 选择器实例

scrapy 2.3 项目

scrapy 2.3 项目类型

scrapy 2.3 使用项目对象

scrapy 2.3 项目加载器

scrapy 2.3 shell

scrapy 2.3 shell使用外壳

scrapy 2.3 项目管道

scrapy 2.3 项目管道示例

scrapy 2.3 Feed导出

scrapy 2.3 请求和响应

无标题文章

scrapy 2.3 请求子类

scrapy 2.3 链接提取器

scrapy 2.3 设置

scrapy 2.3 内置异常引用

scrapy 2.3 登录

scrapy 2.3 日志记录配置

scrapy 2.3 统计数据集合

scrapy 2.3 发送电子邮件

scrapy 2.3 远程登录控制台

scrapy 2.3 常见问题

scrapy 2.3 调试spiders

scrapy 2.3 蜘蛛合约

scrapy 2.3 常用做法

scrapy 2.3 宽爬行

scrapy 2.3 使用浏览器的开发人员工具进行抓取

scrapy 2.3 选择动态加载的内容

scrapy 2.3 调试内存泄漏

scrapy 2.3 下载和处理文件和图像

scrapy 2.3 如何部署蜘蛛

scrapy 2.3 AutoThrottle扩展

scrapy 2.3 标杆管理
scrapy 2.3 暂停和恢复爬行
scrapy 2.3 协同程序
scrapy 2.3 asyncio

关闭

 MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }