网络爬虫开发常用框架

爬虫框架就是一些爬虫项目的半成品，可以将一些爬虫常用的功能写好，然后留一些接口，在不同的爬虫项目当中调用适合自己项目的接口，再编写少量的代码实现自己需要的功能。因为框架中已经实现了爬虫常用的功能，所以为开发人员节省了很多精力与时间。

1.Scrapy爬虫框架

Scrapy框架是一套比较成熟的Python爬虫框架，简单轻巧，并且非常方便。可以高效率地爬取web页面并从页面中提取结构化的数据。Scrapy是一套开源的框架，所以在使用时不需要担心收取费用的问题。Scrapy的官网地址为https://scrapy.org，页面如下：

 另外Scrapy开发框架对开发者提供了开发文档，文档中详细地介绍了开源框架的安装以及Scrapy的使用教程。

2.Crawley爬虫框架

Crawley也是Python开发出的爬虫框架，该框架致力于改变人们从互联网中提取数据的方式。Crawley的特性如下：

【1】基于Eventlet构件的高速网络爬虫框架

【2】可以将数据存储在关系数据库中，如Postgres、MySQL、Oracle、Sqlite。

【3】可以将爬取的数据导入为Json、Xml格式。

【4】支持非关系型数据库，如MongoDB和Couchdb

【5】支持命令行工具

【6】可以使用您喜欢的工具进行数据的提取，如Xpath或Pyquery工具

【7】支持使用Cookie登录或访问那些只有登录才可以访问的网页。

【8】简单易学

Crawley的官网地址为http://project.crawley-cloud.com.

3.PySpider爬虫框架

相对于Scrapy框架而言，PySpider框架是一支新秀。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器、任务监视器、项目管理器以及结果查看器。PySpider的特性如下：

【1】Python脚本控制，可以用任何您喜欢的HTML解析包（内置pyquery）

【2】使用web界面编写调试脚本、起停脚本，监控执行状态，查看活动历史，获取结果产出。

【3】支持MySQL、MongoDB、redis、SQLite、Elasticsearch、PostgreSQL与SQLAlchemy。

【4】支持RabbitMQ、Beanstalk、Redis和Kombu作为消息队列。

【5】支持抓取JavaScript的页面

【6】强大的调度控制，支持超时重爬及优先级设置

【7】组件可替换，支持单机/分布式部署，支持Docker部署。

PySpider源码地址为https://github.com/binux/pyspider/releases.

开发文档地址为：http://docs.pyspider.org/。