【爬虫集合】Python爬虫

一、爬虫学习教程

1. https://www.jianshu.com/u/c32d557edfa3

2. WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。

3. 基于webmagic的通用爬虫抓取应用

4. 各大网站登陆方式

5. 一个使用JAVA语言开发的应用级的分布式爬虫搜索引擎

6. 适合抓取封堵的爬虫框架

7. 实战多种网站、电商数据爬虫

8. 爬虫集合

 

二、爬虫框架

1. Gecco 是一款用java语言开发的轻量化的易用的网络爬虫，整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架。

2. 代理资源服务系统,收集IP，分发IP，以及提供IP池高效的切换IP，代理IP,http代理,IP池,代理IP池,免费代理,proxyserice,proxyip 

 

三、Python爬取抖音

1. Python 爬虫——抖音App视频抓包

2. 使用python爬虫,批量爬取抖音app视频（requests+Fiddler+appium）

3.  抖音的数据抓取与数据背后的淘宝

 

四、Python爬取网易云

1. 网易云音乐 NodeJS 版 API

2. 写个抓取网易云音乐精彩评论的爬虫

3. 网易云音乐新版WebAPI分析

4. https://github.com/HiWong/commentbox

5. 使用Python爬一爬网易云音乐上那些评论火爆的歌曲

6.  WebMagic+Spring Boot爬取网易云音乐评论

7.  如何爬网易云音乐的评论数？

8. https://github.com/wenhaoliang/netease-music-spider

9. Python抓取网页云音乐指定歌手的歌曲和评论数量

 

九、Airtest 

1.  全面超越Appium，使用Airtest超快速开发App爬虫

2. 关于Airtest的使用探索