Python爬虫开源项目合集

　　scrapy - 最出名的网络爬虫，一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。官方主页,Scrapy 轻松定制网络爬虫 - 教程，Scrapy 中文指南 。
　　项目地址：
　　https://github.com/scrapy/scrapy/
　　BeautifulSoup - Beautifu Soup不完全是一套爬虫工具，需要配合urllib使用，而是一套HTML/XML数据分析，清洗和获取工具。
　　项目地址：
　　http://www.crummy.com/software/BeautifulSoup/
　　python-goose - Python-Goose用Python重写，依赖了Beautiful Soup。给定一个文章的URL, 获取文章的标题和内容很方便。
　　项目地址：
　　https://github.com/grangier/python-goose/
　　pyspider - PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。demo地址,网络爬虫剖析，以Pyspider为例 ， Scrapy 示例 —— Web 爬虫框架 。
　　项目地址：
　　https://github.com/binux/pyspider
　　PyQuery - 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。python爬虫神器PyQuery的使用方法。
　　项目地址：
　　https://github.com/gawel/pyquery
　　distribute_crawler - 使用scrapy,redis,mongodb,graphite实现的一个分布式网络爬虫。
　　项目地址：
　　https://github.com/gnemoug/distribute_crawler
　　youtube-dl - 一个可从YouTube等网站下载视频的开源神器,采用Python开发，支持多个OS平台，支持众多视频网站国内优酷、土豆、新浪和搜狐，国外YouTube等赫然在列。
　　项目地址：
　　https://github.com/rg3/youtube-dl//
　　you-get - 能帮你快速爬取你想要的一切，支持64个网站，包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米。
　　项目地址：
　　https://github.com/soimort/you-get/
　　Lulu - You-get的一个友好分叉(fork), 类似网络爬虫的简单下载程序。
　　项目地址：
　　https://github.com/iawia002/Lulu
　　pytube - 一个非常严谨、轻量级、无依赖性的用于下载youtube视频的python库。
　　项目地址：
　　http://www.pythonzxw.com
　　python专业学习论坛，每日大量更新python学习教程。
　　项目地址：
　　https://github.com/nficano/pytube
　　meizi_spider - 获取慕课网视频教程，基于Scrapy(0.22)。
　　项目地址：
　　https://github.com/lpe234/meizi_spider
　　spider_smooc - 爬取慕课网视频 ,使用BeautifulSoup模块解析html。
　　项目地址：
　　https://github.com/qiyeboy/spider_smooc
　　proxy_pool - 爬虫代理池,爬去取网上免费的代理IP。
　　项目地址：
　　https://github.com/jhao104/proxy_pool
　　Amazon-scraper-Python - 一款非官方的爬取工具，能够获取亚马逊上在售商品的信息，比如商品排名和评论数量。
　　项目地址：
　　https://github.com/tducret/amazon-scraper-python
　　Douyin-Bot - Python 抖音机器人，论如何在抖音上找到漂亮小姐姐？
　　项目地址：
　　https://github.com/wangshub/Douyin-Bot
　　DouYin - 不到 10 行代码完成抖音热门视频的爬取！
　　项目地址：
　　https://github.com/Python3WebSpider/DouYin
　　Sotawhat - arxiv论文爬虫，只需输入论文关键词，就会为你抓取arxiv上的论文并总结摘要，让你轻松同步最新研究结果。
　　项目地址：
　　https://github.com/chiphuyen/sotawhat
　　Gerapy - 国人开发的，分布式的爬虫管理框架，基于Scrapy, Scrapyd, Scrapyd-Client, Scrapyd-API, Django and Vue.js 技术！
　　项目地址：
　　https://github.com/Gerapy/Gerapy
　　Crawlab - 基于Celery的爬虫分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架.
　　项目地址：
　　https://github.com/tikazyq/crawlab
　　awesome-python-login-model - 模拟登陆一些大型网站，还有一些简单的爬虫。
　　项目地址：
　　https://github.com/CriseLYJ/awesome-python-login-model
　　Pyppeteer - Pyppeteer其实是Puppeteer的Python版本，，Puppeteer是谷歌出品的一款基于Node.js开发的一款工具，主要是用来操纵Chrome浏览器的 API，通过Javascript代码来操纵Chrome浏览器，完成数据爬取、Web程序自动测试等任务。
　　项目地址：
　　https://github.com/miyakogi/pyppeteer
　　python_12306 - 用python实现的12306抢票小工具。
　　项目地址：
　　https://github.com/versionzhang/python_12306
　　py12306 - 12306 购票助手，支持集群，多账号，多任务购票以及 Web 页面管理。
　　项目地址：
　　https://github.com/pjialin/py12306
　　12306 - 12306智能刷票，订票，分布式、多账号、多任务购票。
　　项目地址：
　　https://github.com/testerSunshine/12306