codecamp

scrapy 2.3 macOS环境搭建教程

macOS

构建 Scrapy 的依赖项需要有一个 C 编译器和开发头文件。在 macOS上,这通常是由苹果的 Xcode 开发工具提供的。要安装 Xcode 命令行工具,请打开终端窗口并运行:

xcode-select --install

有一个 “已知问题 <https: github.com="" pypa="" pip="" issues="" 2468="">”_阻止“' pip '”更新系统包。</https:>要成功安装 Scrapy 及其依赖项,必须解决这个问题。以下是一些建议的解决方案:

  • (推荐) Don't 使用系统python,安装一个新的、更新的版本,它不会与系统的其他部分冲突。以下是如何使用 homebrew 包管理器:
  • 安装 homebrew 遵循https://brew.sh中的说明/
  • 更新你的 ​PATH​ 变量,说明应在系统包之前使用自制包(更改 ​.bashrc​ 到 ​.zshrc​ 如果你在使用  zsh 作为默认外壳):​
  • echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
  • 重新加载``.bashrc``以确保发生了变化:
  • source ~/.bashrc
  • 安装python:
  • brew install python
  • 最新版本的python ​pip​ 与它们捆绑在一起,这样您就不需要单独安装。如果不是这样,请升级python:
  • brew update; brew upgrade python
  • (可选) Install Scrapy inside a Python virtual environment .
此方法是解决上述macOS问题的一种解决方法,但它是管理依赖关系的一种总体良好实践,可以补充第一种方法。

在任何这些解决方法之后,您都应该能够安装scrapy::

pip install Scrapy


领取免费资料

扫描下方二维码或打开微信搜一搜“w3cschool编程狮”关注公众号回复关键词【Python123】或者【Python资料包】免费领取 Python 学习资料,包含软件安装包,电子书、思维导图等

w3cschool编程狮微信公众号

scrapy 2.3 Ubuntu环境搭建教程
scrapy 2.3 PyPy环境搭建教程
温馨提示
下载编程狮App,免费阅读超1000+编程语言教程
取消
确定
目录

scrapy 2.3 链接提取器

scrapy 2.3 统计数据集合

scrapy 2.3 发送电子邮件

scrapy 2.3 蜘蛛合约

scrapy 2.3 如何部署蜘蛛

scrapy 2.3 AutoThrottle扩展

关闭

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }