如何自学python爬虫?看这里就对了,亲测效果极佳!

前言

笔者最近在自学python爬虫,在网上找了很多视频资源,也翻看了部分书籍,花了不少时间,也走了一些弯路,现将自己发现的一些非常好的资源共享出来,希望能帮助到每一个爱学习的伙伴们。

一、网易云课堂免费视频

推荐理由:课程内容非常全面,讲师讲解生动,节奏把控极好,不仅能让学生知其然,更知其所以然,看了老师的视频教程几乎就不用花钱看付费教程了!入门爬虫的不二之选!!!

课程名:Python零基础爬虫开发教程

讲师:乐乐老师

网址:https://study.163.com/course/courseMain.htm?courseId=1209404839

课程主页截图:

课程目录部分截图:

课程评价截图:

二、书名:《Python3网络爬虫开发实战》作者:崔庆才

推荐理由:全是干货!且知识面广,讲解透彻,近千页的书籍 ,读完感觉满满都是收获!

第 1章 爬虫基础 1

1.1 HTTP基本原理 1

1.2 Web 网页基础 12

1.3 爬虫的基本原理 19

1.4 Session和Cookie 21

1.5 代理的基本原理 24

1.6 多线程和多进程的基本原理 26

第 2章 基本库的使用 29

2.1 urllib的使用 29

2.2 requests的使用 47

2.3 正则表达式 63

2.4 httpx的使用 73

2.5 基础爬虫案例实战 78

第3章 网页数据的解析提取 90

3.1 XPath的使用 90

3.2 Beautiful Soup的使用 99

3.3 pyquery的使用 113

3.4 parsel 的使用 124

第4章 数据的存储 128

4.1 TXT 文本文件存储 128

4.2 JSON 文件存储 130

4.3 CSV 文件存储 134

4.4 MySQL 存储 138

4.5 MongoDB 文档存储 144

4.6 Redis缓存存储 151

4.7 Elasticsearch 搜索引擎存储 159

4.8 RabbitMQ 的使用 166

第5章 Ajax 数据爬取 174

5.1 什么是 Ajax 174

5.2 Ajax分析方法 176

5.3 Ajax 分析与爬取实战 179

第6章 异步爬虫 191

6.1 协程的基本原理 191

6.2 aiohttp的使用 201

6.3 aiohttp 异步爬取实战 207

第7章 JavaScript 动态渲染页面爬取 212

7.1 Selenium 的使用 212

7.2 Splash 的使用 226

7.3 Pyppeteer 的使用 242

7.4 Playwright 的使用 257

7.5 Selenium 爬取实战 269

7.6 Pyppeteer 爬取实战 276

7.7 CSS 位置偏移反爬案例分析与爬取实战 282

7.8 字体反爬案例分析与爬取实战 287

第8章 验证码的识别 293

8.1 使用 OCR 技术识别图形验证码 293

8.2 使用 OpenCV 识别滑动验证码的缺口 298

8.3 使用深度学习识别图形验证码 304

8.4 使用深度学习识别滑动验证码的缺口 309

8.5 使用打码平台识别验证码 316

8.6 手机验证码的自动化处理 324

第9章 代理的使用 331

9.1 代理的设置 331

9.2 代理池的维护 340

9.3 付费代理的使用 351

9.4 ADSL 拨号代理的搭建方法 357

9.5 代理反爬案例爬取实战 365

第 10章 模拟登录 373

10.1 模拟登录的基本原理 373

10.2 基于Session和Cookie的模拟登录爬取实战 376

10.3 基于JWT的模拟登录爬取实战 381

10.4 大规模账号池的搭建 385

第 11章 JavaScript 逆向爬虫 397

11.1 网站加密和混淆技术简介 397

11.2 浏览器调试常用技巧 413

11.3 JavaScript Hook 的使用 430

11.4 无限 debugger 的原理与绕过 440

11.5 使用 Python 模拟执行 JavaScript 445

11.6 使用 Node.js 模拟执行 JavaScript 451

11.7 浏览器环境下 JavaScript 的模拟执行 454

11.8 AST 技术简介 460

11.9 使用 AST 技术还原混淆代码 472

11.10 特殊混淆案例的还原 480

11.11 WebAssembly 案例分析和爬取实战 490

11.12 JavaScript 逆向技巧总结 498

11.13 JavaScript 逆向爬取实战 505

第 12章 App 数据的爬取 530

12.1 Charles 抓包工具的使用 530

12.2 mitmproxy 抓包工具的使用 538

12.3 mitmdump 实时抓包处理 544

12.4 Appium 的使用 551

12.5 基于 Appium 的 App 爬取实战 562

12.6 Airtest 的使用 568

12.7 基于 Airtest 的 App 爬取实战 585

12.8 手机群控爬取实战 591

12.9 云手机的使用 594

第 13章 Android 逆向 603

13.1 jadx 的使用 603

13.2 JEB 的使用 615

13.3 Xposed 框架的使用 624

13.4 基于 Xposed 的爬取实战案例 635

13.5 Frida 的使用 643

13.6 SSL Pining 问题的解决方案 650

13.7 Android 脱壳技术简介与实战 657

13.8 利用 IDA Pro 静态分析和动态调试 so 文件 664

13.9 基于 Frida-RPC 模拟执行 so 文件 680

13.10 基于 AndServer-RPC 模拟执行 so 文件 685

13.11 基于 unidbg 模拟执行 so 文件 692

第 14章 页面智能解析 700

14.1 页面智能解析简介 700

14.2 详情页智能解析算法简介 707

14.3 详情页智能解析算法的实现 714

14.4 列表页智能解析算法简介 722

14.5 列表页智能解析算法的实现 727

14.6 如何智能分辨列表页和详情页 735

第 15章 Scrapy框架的使用 739

15.1 Scrapy框架介绍 739

15.2 Scrapy入门 743

15.3 Selector 的使用 754

15.4 Spider 的使用 759

15.5 Downloader Middleware的使用 766

15.6 Spider Middleware的使用 775

15.7 Item Pipeline的使用 781

15.8 Extension的使用 792

15.9 Scrapy 对接 Selenium 795

15.10 Scrapy 对接 Splash 801

15.11 Scrapy 对接 Pyppeteer 806

15.12 Scrapy 规则化爬虫 813

15.13 Scrapy 实战 827

第 16章 分布式爬虫 840

16.1 分布式爬虫理念 840

16.2 Scrapy-Redis原理和源码解析 842

16.3 基于Scrapy-Redis的分布式爬虫实现 847

16.4 基于Bloom Filter进行大规模去重 851

16.5 基于RabbitMQ的分布式爬虫 859

第 17章 爬虫的管理和部署 862

17.1 Scrapyd和ScrapydAPI的使用 862

17.2 Scrapyd-Client 的使用 867

17.3 Gerapy 爬虫管理框架的使用 869

17.4 将Scrapy 项目打包成 Docker 镜像 873

17.5 Docker Compose 的使用 878

17.6 Kubernetes的使用 880

17.7 用 Kubernetes 部署和管理 Scrapy 爬虫 888

17.8 Scrapy 分布式爬虫的数据统计方案 899

17.9 基于Prometheus和Grafana的分布式爬虫监控方案 904

附录 爬虫与法律 917

你可能感兴趣的:(如何自学python爬虫?看这里就对了,亲测效果极佳!)