GitHub - facert/awesome-spider: 爬虫集合

awesome-spider

收集各种爬虫 (默认爬虫语言为 python), 欢迎大家 提 pr 或 issue, 收集脚本见此项目 github-search

A

  • 暗网爬虫(Go)
  • alexaTop500
  • 爱丝APP图片爬虫

B

  • Bilibili 用户
  • Bilibili 视频
  • 博客园(node.js)
  • 百度百科(node.js)
  • 北邮人水木清华招聘
  • 百度云网盘
  • 琉璃神社爬虫

C

  • cnblog
  • caoliu 1024

D

  • 豆瓣读书
  • 豆瓣爬虫集
  • 豆瓣害羞组
  • DNS记录和子域名

E

  • E绅士

G

  • Girl-atlas
  • girl13
  • github trending
  • Github 仓库及用户分析爬虫

I

  • Instagram

J

  • 京东
  • 京东搜索+评论
  • 京东商品+评论
  • 机票
  • 煎蛋妹纸
  • 今日头条,网易,腾讯等新闻

K

  • 看知乎
  • 课程格子校花榜
  • konachan

L

  • 链家
  • 拉勾
  • 炉石传说
  • leetcode

M

  • 马蜂窝(node.js)
  • MyCar
  • 漫画喵 一键下载漫画~
  • 美女写真套图爬虫 (一)(二)

P

  • Pixiv
  • PornHub

Q

  • QQ空间
  • QQ 群
  • 清华大学网络学堂爬虫
  • 去哪儿
  • 前程无忧Python招聘岗位信息爬取分析

R

  • 人人影视
  • RSS 爬虫
  • rosi 妹子图
  • reddit 壁纸

S

  • soundcloud
  • Stackoverflow 100万问答爬虫
  • Shadowsocks 账号爬虫

T

  • tumblr
  • TuShare
  • 天猫双12爬虫
  • Taobao mm
  • Tmall 女性文胸尺码爬虫

V

  • 视频信息爬虫
  • 电影网站

W

  • 乌云公开漏洞
  • 微信公众号
  • “代理”方式抓取微信公众号文章
  • 网易新闻
  • 网易精彩评论
  • 微博主题搜索分析
  • 网易云音乐

X

  • 雪球股票信息(java)
  • 新浪微博

Y

  • 英美剧 TV (node.js)

Z

  • ZOL 手机壁纸爬虫
  • 知乎(python)
  • 知乎(php)
  • 知网
  • 知乎妹子
  • 自如实时房源提醒

其他

  • 各种爬虫
  • DHT 爬虫
  • SimDHT
  • p2pspider

你可能感兴趣的:(github,facert,awesome)