【爬虫成长之路】（二）各篇需要用到的库和工具

本系列文章共十篇：

【爬虫成长之路】（一）爬虫系列文章导读
【爬虫成长之路】（二）各篇需要用到的库和工具
【爬虫成长之路】（三）【大众点评】selenium爬虫
【爬虫成长之路】（四）【大众点评】selenium登录+requests爬取数据
【爬虫成长之路】（五）【大众点评】浏览器扫码登录+油猴直接爬取数据
【爬虫成长之路】（六）【大众点评】mitmproxy中间人代理爬虫
【爬虫成长之路】（七）【大众点评】PC微信小程序+requests爬取数据
【爬虫成长之路】（八）【大众点评】安卓APP爬虫

一、各篇文章所用到的库和工具

序号	章节	库	工具
1	第一章	无	无
2	第二章	无	无
3	第三章	selenium	chromedriver
4	第四章	selenium、requests	Fiddler、chromedriver
5	第五章	Django	Fiddler、油猴
6	第六章	requests、Django	Fiddler、油猴
7	第七章	requests、Django、mitmproxy	Fiddler、mitmproxy
8	第八章	requests	Fiddler
9	第九章	requests	Fiddler、Frida、Objection、IDA、JADX-GUI
10	第十章	无	无

注：只列出关键库和工具，全系列文章更新完成后更新此表格！

二、相关库安装及使用教程

1. selenium：pip install selenium
   selenium-python中文文档：包含库的安装方法和使用说明

2. requests: pip install requests

3. mitmproxy: pip install mitmproxy

4. frida: pip install frida

   • Frida 是什么？
     • Frida 是一个hook工具，也是全平台的hook工具
     • 使用Frida时建议用性能稍好的物理机、如果没有的话这里推荐逍遥安卓模拟器和木木模拟器，试过雷电、夜神，雷电直接闪退；夜神无法root，root之后卡在99.99%，无法启动模拟器；木木模拟器点击切换时也有卡顿现象，不过至少不闪退，综合体验最好的就是夜神安卓模拟器，有那么些广告还是要手动关一下才好，相关链接放下面。
     • 逍遥安卓模拟器、木木模拟器、雷电模拟器、夜神模拟器
     • 如果在使用时，碰到ADB连接的问题，一般是报模拟器的ADB版本和手机内ADB版本不一致，这个自己去百度一下解决方法。
   • Frida官网
   • []Frida详细安装教程
   • [CSDN]Hook神器: frida超详细安装教程

5. objection: pip install frida

   • objection github 地址

6. Django: pip install django

   • Django是一个web框架，这里主要是用来和浏览器上的插件通信用，也可使用其他的框架Flask、Tornado等都行。
   • django官网
   • 刘江的博客教程
   • 大江狗

三、相关工具下载及使用教程

注：这里提醒一下，下载软件时的顺序如下：

1. 官方下载
2. 国内镜像下载
3. 论坛或网盘下载
4. 不要去国内那些综合下载站下载！！！

1. chromedriver

• chromedriver淘宝镜像下载(推荐)
• chromedriver下载(地址1)
• chromedriver下载(地址2)
  chromedriver的版本和Chrome的版本要对应上，否则也是没用的。
  [CSDN]ChromeDriver与Chrome版本对应参照表及ChromeDriver下载链接、官方参照表

2. Fiddler

• Fiddler 是什么？
  Fiddler是一款抓包工具，同类抓包工具还有postman、burpsuite，任选一款适合自己的就好了，这里我选择我习惯的Fiddler。如果是简单的场景，也可以直接浏览器内F12解决。
• 官方下载地址（网站略卡，打不开的可以去论坛找找）
• [博客园]Fiddler教程

3. mitmproxy

• mitmproxy是什么？
  mitmproxy是一款代理工具，其作用类似于Fiddler，不同之处在于mitmproxy可定制程度高。
  mitmproxy官方下载地址
  []mitmproxy的下载及证书配置

4. JADX-GUI

• 这个软件可以将APK直接反编译成JAVA代码，绝大部分都能够还原回来，还支持跳转，很好用。
• JADX-GUI github 下载地址

5. IDA

• 这个软件去吾爱论坛下载，里面有大佬分享了。

FQA

如果你在学习过程中遇到任何问题，可在评论中留言、私信或发送邮件给我，看到会回复

注：

1. 如果您不希望我在文章提及您文章的链接，或是对您的服务器造成了损害，请联系我对文章进行修改；
2. 本文仅爬取公开数据，不涉及到用户隐私；