干货贴！Github上超过百赞的爬虫脚本合集

干货贴！Github上超过百赞的爬虫脚本合集

---

个人公众号：进击的金融Coder
欢迎关注公众号：每日共同学习

个人公众号：进击的金融Coder
欢迎关注公众号：每日共同学习

爬虫其实是很简单的小程序，掌握好基本包运用和正则表达式即可爬取大部分的网站。
在github上有许多的爬虫程序，今天就给大家整合推荐一下，那些超过百赞的爬虫程序，让大家站在巨人的肩膀上开始你的爬虫之路。

awesome-spider

收集各种爬虫 （默认爬虫语言为 python）, 欢迎大家 提 pr 或 issue, 收集脚本见此项目 github-search

A

• 暗网爬虫(Go)
• 爱丝APP图片爬虫

B

• Bilibili 用户
• Bilibili 视频
• Bilibili 小视频
• Bing美图爬虫
• B站760万视频信息爬虫
• 博客园(node.js)
• 百度百科(node.js)
• 北邮人水木清华招聘
• 百度云网盘
• 琉璃神社爬虫

C

• cnblog
• caoliu 1024

D

• 豆瓣读书
• 豆瓣爬虫集
• 豆瓣害羞组
• DNS记录和子域名
• DHT网络磁力种子爬虫
• 抖音

E

• E绅士

G

• Girl-atlas
• girl13
• github trending
• Github 仓库及用户分析爬虫

H

• HDOJ爬虫

I

• Instagram
• INC500 世界5000强爬虫

J

• 京东
• 京东搜索+评论
• 京东商品+评论
• 机票
• 煎蛋妹纸
• 煎蛋妹纸selenium版本
• 今日头条，网易，腾讯等新闻

K

• 看知乎
• 课程格子校花榜
• konachan

L

• 链家
• 链家成交在售在租房源
• 拉勾
• 炉石传说
• leetcode
• 领英销售导航器爬虫 LinkedInSalesNavigator

M

• 马蜂窝 用户足迹
• MyCar
• 漫画喵 一键下载漫画~
• MM131性感美女写真图全爬取
• 美女写真套图爬虫 （一）（二）（三）
• 妹子图

N

• 新闻监控

O

• ofo共享单车爬虫

P

• Pixiv
• PornHub
• packtpub
• 91porn

Q

• QQ空间
• QQ 群
• 清华大学网络学堂爬虫
• 去哪儿
• 前程无忧Python招聘岗位信息爬取分析

R

• 人人影视
• RSS 爬虫
• rosi 妹子图
• reddit 壁纸
• reddit

S

• soundcloud
• Stackoverflow 100万问答爬虫
• Shadowsocks 账号爬虫
• spider163 网易云音乐爬虫
• 时光网电影数据和海报爬虫

T

• tumblr
• 下载tumblr喜欢内容
• TuShare
• 天猫双12爬虫
• Taobao mm
• Tmall 女性文胸尺码爬虫
• 淘宝直播弹幕爬虫(node)

V

• Youtube字幕下载
• 视频信息爬虫
• 电影网站

W

• 乌云公开漏洞
• 微信公众号
• “代理”方式抓取微信公众号文章
• 网易新闻
• 网易精彩评论
• 微博主题搜索分析
• 网易云音乐

X

• 雪球股票信息(java)
• 新浪微博
• 新浪微博分布式爬虫

Y

• 英美剧 TV (node.js)

Z

• ZOL 手机壁纸爬虫
• 知乎(python)
• 知乎(php)
• 知网
• 知乎妹子
• 自如实时房源提醒

#

• 80s 影视资源爬虫 - JianSo_Movie

其他

• 各种爬虫
• DHT 爬虫
• SimDHT
• p2pspider