codecamp

scrapy 2.3 Ubuntu环境搭建教程

Ubuntu 14.04或以上

Scrapy 目前已经用 LXML、Twisted 和 PyOpenSSL 的最新版本进行了测试,并且与最新的 Ubuntu 发行版兼容。但是它也应该支持 Ubuntu 的旧版本,比如Ubuntu14.04,尽管存在与 TLS 连接相关的潜在问题。

Don't 使用 ​​python-scrapy​​ Ubuntu 提供的软件包,它们通常太旧,速度太慢,赶不上最新的垃圾。

要在 Ubuntu(或基于 Ubuntu 的)系统上安装 scray,需要安装以下依赖项:

sudo apt-get install python3 python3-dev python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
  • ​​python3-dev​​, ​​zlib1g-dev​​, ​​libxml2-dev​​ and ​​libxslt1-dev​​ are required for ​​lxml​
  • ​libssl-dev​​ and ​​libffi-dev​​ are required for ​​cryptography​​

在 a:ref: ' virtualenv < introduction - use -virtualenv> '内部,您可以在后面安装带有' ' pip ' '的Scrapy:

pip install scrapy

注解

相同的非 python 依赖项可用于在 debian jessie(8.0)及更高版本中安装 scrapy。

领取免费资料

扫描下方二维码或打开微信搜一搜“w3cschool编程狮”关注公众号回复关键词【Python123】或者【Python资料包】免费领取 Python 学习资料,包含软件安装包,电子书、思维导图等

w3cschool编程狮微信公众号

scrapy 2.3 Windows环境搭建教程
scrapy 2.3 macOS环境搭建教程
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

scrapy 2.3 链接提取器

scrapy 2.3 统计数据集合

scrapy 2.3 发送电子邮件

scrapy 2.3 蜘蛛合约

scrapy 2.3 如何部署蜘蛛

scrapy 2.3 AutoThrottle扩展

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }