codecamp

简介

简介

colly是快如闪电而优雅的爬虫框架，提供简洁的API能够帮助你构建爬虫应用。使用Colly，你可以轻松地从网站中提取结构化数据，这些数据可用于广泛的应用程序，如数据挖掘，数据处理或归档。

特性

- 简单的API
- 快速（单核上> 1k请求/秒）
- 控制请求延迟和每个域名的最大并发数
- 自动cookie和session处理
- 同步/异步/并行抓取
- 高速缓存
- 对非unicode响应自动编码
- Robots.txt支持
- 分布式抓取
- 支持通过环境变量配置
- 随意扩展

温馨提示

下载编程狮App，免费阅读超1000+编程语言教程

取消

确定

MIP.setData({ 'pageTheme' : getCookie('pageTheme') || {'day':true, 'night':false}, 'pageFontSize' : getCookie('pageFontSize') || 20 }); MIP.watch('pageTheme', function(newValue){ setCookie('pageTheme', JSON.stringify(newValue)) }); MIP.watch('pageFontSize', function(newValue){ setCookie('pageFontSize', newValue) }); function setCookie(name, value){ var days = 1; var exp = new Date(); exp.setTime(exp.getTime() + days*24*60*60*1000); document.cookie = name + '=' + value + ';expires=' + exp.toUTCString(); } function getCookie(name){ var reg = new RegExp('(^| )' + name + '=([^;]*)(;|$)'); return document.cookie.match(reg) ? JSON.parse(document.cookie.match(reg)[2]) : null; }