Python爬虫开源软件工具

Python爬虫  

（1）QuickRecon  

QuickRecon是一个简单的信息收集工具,它可以帮助你查找子域名名称、perform zone transfe、收集电子邮件地址和使用microformats寻找人际关系等。

QuickRecon使用python编写，支持linux和 windows操作系统。  

授权协议： GPLv3  

开发语言： Python  

操作系统： Windows Linux  

特点：具有查找子域名名称、收集电子邮件地址并寻找人际关系等功能 

（2）PyRailgun  

这是一个非常简单易用的抓取工具。支持抓取javascript渲染的页面的简单实用高效的python网页爬虫抓取模块  

授权协议： MIT  

开发语言： Python  

操作系统： 跨平台 Windows Linux OS X  

特点：简洁、轻量、高效的网页抓取框架  

备注：此软件也是由国人开放  

github下载：princehaku/pyrailgun 

（3）Scrapy  

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便～  

授权协议： BSD  

开发语言： Python  

操作系统： 跨平台  

github源代码：https://github.com/scrapy/scrapy  

特点：基于Twisted的异步处理框架，文档齐全