Python 爬虫学习路线、github 爬虫项目、spidertools、大佬博文

爬虫入门简单，深入很难。。。

爬虫工程师的尽头是逆向安全工程师！

很多搞易语言的对于逆向很拿手，可以逛逛易语言的一些论坛，重要的是思路，实现的语言无所谓。推荐多逛一下各大论坛：

• 看雪安全论坛
• 精易逆向安全
• 夜幕爬虫论坛
• 穿甲兵技术社区

好的 python 爬虫课程

From：https://www.zhihu.com/question/417653202

• 爬虫入门阶段：《Python3 网络爬虫开发实战》第一版、第二版，作者崔庆才
• 反爬套路总结：《Python3 反爬虫原理与绕过实战》，作者韦世东
• 数据产品+数据产品思维：《爬虫实战：从数据到产品》，作者贺思聪
• 爬虫逆向进阶：《反爬虫AST原理与还原混淆实战》，作者李岳阳，卓斌；《安卓Frida逆向与抓包实战》作者陈佳林

视频方面，进阶，也就是逆向相关的视频：

免费：

• JS 逆向：《K 哥爬虫》 K 哥的小助理带你由易到难学习逆向
• JS 逆向：《志远2021全新js逆向教程，学完这套就够了！（全套开源）》
• APP 逆向：《小肩膀 app逆向百集(105集)》

收费：

• 夜幕出品 JS 逆向：《JavaScript 逆向系列课》 《JavaScript 逆向高阶课》
• 猿人学：《爬虫高阶课程》
• 志远和小肩膀 2022 最新的 JS 逆向和 APP 逆向课程，自己在 B 站找购买方式

爬虫工具推荐：spidertools

爬虫代理推荐：快代理（国内HTTP代理）、bright data（海外HTTP代理）

相关大佬博文

奋飞安全

• ：http://91fans.com.cn/
• ：https://blog.csdn.net/fenfei331
• ：https://www.jianshu.com/u/01dab7278c9f
• ：https://juejin.cn/user/3148642844684638

K哥

• K 哥爬虫代码分享：https://github.com/kgepachong/crawler/
• K 哥爬虫
• ：https://blog.csdn.net/kdl_csdn
• ：https://www.cnblogs.com/ikdl/
• ：https://mp.weixin.qq.com/s/Yezf-ueRi7PxggZtah8K5g
• ：https://mp.sohu.com/profile?xpt=ZWUyODM3YWEtNzNiZi00YmQ1LTgzYTUtMjliNTk0ZTM0Yzhh
• ：https://www.zhihu.com/people/wan-feng-zzz-5
• ：https://www2.jianshu.com/u/d6d773394f99
• ：https://juejin.cn/user/950457502012974/posts
• ：https://space.bilibili.com/1622879192
• K哥：js 逆向百例：https://blog.csdn.net/kdl_csdn/category_11233178.html
• K哥：app 逆向百例：
• 人均瑞数系列，瑞数 5 代 JS 逆向分析：https://blog.csdn.net/kdl_csdn/article/details/126648686
• ​极验三代、四代点选类验证码逆向分析
  • ：https://blog.csdn.net/kdl_csdn/article/details/129859001
  • ：https://blog.csdn.net/kdl_csdn/article/details/129281652

也可以关注 K 哥爬虫公众号，会分享一些 JS 逆向知识，比较适合新手。

路飞 爬虫

• ：https://maomier.com/6082/
• 路飞-爬虫开发+APP逆向：https://www.itwangzi.cn/4739.html

搜索 大佬相关站点、博客、技术论坛，查看系列文章

Python爬虫 --- 中高级爬虫学习路线

：https://www.cnblogs.com/Eeyhan/p/14148832.html

看不清图时，可以把图片保存到本地在打开查看。。。

Python3 网络爬虫

：https://cuiqingcai.com/17777.html

爬虫基础入门

1. 什么是爬虫？
2. HTTP 基本原理
3. Web 网页基础
4. Session 和 Cookie
5. urllib 爬虫初体验
6. 方便好用的 requests
7. 强大灵活的正则表达式
8. 基础爬虫案例爬取实战

页面解析和数据存储

1. 网页解析利器 XPath 初体验
2. 新兴网页解析利器 parsel
3. 简易的 TXT 纯文本文件存储
4. 方便灵活的 JSON 文本文件存储
5. 高效实用的 MongoDB 文档存储
6. 关系型数据库 MySQL 存储
7. 当爬虫遇见 RabbitMQ 消息队列
8. 便于高效检索的 Elasticsearch 存储

Ajax 分析和动态渲染页面爬取

1. 什么是 Ajax？
2. Ajax 分析方法
3. Ajax 案例爬取实战
4. 经典动态渲染工具 Selenium 的使用
5. 新兴动态渲染工具 Playwright 的使用

异步爬虫和模拟登录

1. 协程的基本原理
2. aiohttp 的基本使用
3. 模拟登录的基本原理
4. Session + Cookie 模拟登录爬取实战

验证码的处理

1. OCR 识别验证码
2. OpenCV 图像匹配识别滑动验证码缺口
3. 深度学习识别滑动验证码缺口

代理的使用

1. 代理的基本原理
2. 代理的基本使用
3. 高效代理池的维护
4. ADSL 拨号代理的使用

JavaScript 混淆、逆向技术

1. JavaScript 网站加密和混淆技术简介
2. JavaScript 逆向调试技巧
3. JavaScript Hook 的用法
4. Python 模拟执行 JavaScript

App 爬虫和安卓逆向

页面智能解析

Scrapy 框架和分布式爬虫

爬虫的部署、维护、监控

2、如何入门 Python 爬虫

：https://zhuanlan.zhihu.com/p/21479334

3、Github Python 爬虫 项目

Github Python 爬虫：https://github.com/search?q=python+%E7%88%AC%E8%99%AB

learn_python3_spider：https://github.com/wistbean/learn_python3_spider

4、spidertools 爬虫工程师在线工具库

http://spidertools.cn是专为爬虫工程师打造的在线工具库，集合了爬虫工程师常用的工具，例如JSON格式化、Header格式化、Cookie格式化、Dict格式化、JS格式化、curl转python、url参数提取、url转义与反转义、html渲染、文本解码、文本对比、时间转换等工具，致力于提升爬虫开发效率
网站地址：http://spidertools.cn
知识星球 https://t.zsxq.com/eEmAeae

spidertools：https://spidertools.cn/#/article

知识宝库板块，大家都可以提交自己认为有价值的文章，spidertools会备份文章内容，以防止原内容不可访问

5、安卓逆向系列

教我兄弟学安卓逆向系列

From：https://www.52pojie.cn/thread-742703-1-1.html

编写第一个 Android 程序

破解第一个 Android 程序

破解第一个 Android 游戏

动态调试 smali 代码

在 smali 代码中插入 Log

用 AndroidStudio 编写第一个 so

IDA 破解第一个 so

IDA 爆破签名验证

IDA 动态破解登陆验证

静态分析反调试 apk

动态调试 init_array

编写 xpose 模块

apktool 的使用

jeb 工具的使用

Android 逆向必会命令

OLLVM 混淆环境搭建

课程导航:

《教我兄弟学Android逆向01 编写第一个Android程序》
《教我兄弟学Android逆向02 破解第一个Android程序 》
《教我兄弟学Android逆向03 破解第一个Android游戏 》
《教我兄弟学Android逆向04 动态调试smali代码》
《教我兄弟学Android逆向05 在smali代码中插入Log》
《教我兄弟学Android逆向06 用AndroidStudio编写第一个so》
《教我兄弟学Android逆向07 IDA破解第一个so》
《教我兄弟学Android逆向08 IDA爆破签名验证》
《教我兄弟学Android逆向09 IDA动态破解登陆验证》
《教我兄弟学Android逆向10 静态分析反调试apk》
《教我兄弟学Android逆向11 动态调试init_array》
《教我兄弟学Android逆向12 编写xpose模块》

  番外篇导航:

《教我兄弟学Android逆向番外01 apktool的使用》
《教我兄弟学Android逆向番外02 jeb工具的使用》
《教我兄弟学Android逆向番外03 Android逆向必会命令》
《教我兄弟学Android逆向番外04 OLLVM混淆环境搭建》

  教程附件
  链接：https://pan.baidu.com/s/1x0pNcso7TCWMFDZr8AcsIA 密码：ndd0

android 逆向奇技淫巧

：https://www.cnblogs.com/theseventhson/category/2185718.html

android逆向奇技淫巧一：去掉开屏广告&跳过app的某些activity
android逆向奇技淫巧二：uiautomatorviewer&method profiling定位x音java层的关键代码和方法
android逆向奇技淫巧三：MT管理器替代android killer修改和重新编译smail代码/frida hook 更改so层代码
android逆向奇技淫巧四：模拟器检测和反检测
android逆向奇技淫巧五：x音fiddler抓包分析协议字段
android逆向奇技淫巧六：x音关键加密字段算法逆向分析（一）
android逆向奇技淫巧七：apk加壳（一代）和脱壳分析
android逆向奇技淫巧八：apk加壳（二代）和通用脱壳分析
android逆向奇技淫巧九：frida常见java层的加密/hash算法自吐
android逆向奇技淫巧十：OLLVM原理、常见破解思路和hook代码
android逆向奇技淫巧十一：unidbg调用so层函数
android逆向奇技淫巧十二：dexVMP解释器原理及简易模拟实现
android逆向奇技淫巧十三：定制art内核（一）：跟踪jni函数注册和调用，绕过反调试
android逆向奇技淫巧十四：定制art内核（二）：VMP逆向----仿method profiling跟踪jni函数执行
android逆向奇技淫巧十五：x音关键加密字段算法逆向分析（二）
android逆向奇技淫巧十六：frida hook java和so层函数常用脚本
android逆向奇技淫巧十七：android客户端自动x红包（一）：代码原理分析
android逆向奇技淫巧十八：x音so层代码花指令防护分析（三）
android逆向奇技淫巧十九：unidbg模拟执行和trace x音so代码（四）
android逆向奇技淫巧二十：findcrypt和findhash查找疑似加密函数（五）
android逆向奇技淫巧二十一：ida反反调试&加密算法跟踪(未完待续)（六）
android逆向奇技淫巧二十二：ida栈回溯加密算法跟踪(未完待续)（七）
android逆向奇技淫巧二十三：自己写app调用x音关键so(未完待续)（八）
android逆向奇技淫巧二十四：frida rpc调用生成加密字段（九）
android逆向奇技淫巧二十五：x音另类抓包（十）
android逆向奇技淫巧二十六：基础库的hook&x音检测frida方式之一（十一）
android逆向奇技淫巧二十七：AOSP改源码制作沙箱实现“无痕”hook和避开server端风控
android逆向奇技淫巧二十八：x音MD5使用分析
android逆向奇技淫巧二十九：x音AES使用分析
android逆向奇技淫巧三十：so加壳&加固原理简述
android逆向奇技淫巧三十一：unidbg常见功能代码

安卓逆向这档事

：http://zhannei.baidu.com/cse/site?q=%B0%B2%D7%BF%C4%E6%CF%F2%D5%E2%B5%B5%CA%C2&cc=52pojie.cn&ie=gbk