crawler - python 8大爬虫框架/常用爬虫框架/常用爬虫工具

 

python 8大爬虫框架

csdn: https://blog.csdn.net/helunqu2017/article/details/112854447

scrapy框架：目前较成熟与常用的爬虫框架，http://Scrapy.org/

Crawley框架：可以比较高效地攫取互联网对应的内容,官网:http://project.crawley-cloud.com/

Portia框架： 可以可视化地爬取网页的框架,官网:https://portia.scrapinghub.com/

newspaper：用来提取新门卫新闻,文章及内容分析的Python爬虫框架,由第三方开发。

pyspider爬虫框架： 能在浏览器界面上进行脚本的编写

Grab爬虫框架：用于构建Web刮板的Python框架

Cola爬虫框架：分布式爬虫框架

 

其他相关的库

lxml： 解析模块

beautifulsoup：解析模块 https://blog.csdn.net/helunqu2017/article/details/112756812

pyquery： 解析模块 https://blog.csdn.net/helunqu2017/article/details/112756834

execjs： 通过python执行JavaScript代码

js2py： 通过python执行JavaScript代码

fake-useragent :伪装UA / 随机UA https://blog.csdn.net/helunqu2017/article/details/112823386