视频教程-150讲轻松搞定Python网络爬虫-Python

150讲轻松搞定Python网络爬虫

拥有多年实战开发经验，擅长Python、C、C++、前端、iOS等技术语言，用Python开发过多个大型企业网站，从零打造分布式爬虫架构。目前专注于Python领域的课程研发和教学工作，曾给网易、360、华为等多家大公司员工做过Python技术培训，具有丰富的实战和教学经验。

黄勇

¥599.00

立即订阅

订阅后：请点击此处观看视频课程

 

视频教程-150讲轻松搞定Python网络爬虫-Python

学习有效期：永久观看

学习时长：1896分钟

学习计划：32天

难度：

 

「口碑讲师带队学习，让你的问题不过夜」

讲师姓名：黄勇

高校教师 / 培训机构讲师

讲师介绍：拥有多年实战开发经验，擅长Python、C、C++、前端、iOS等技术语言，用Python开发过多个大型企业网站，从零打造分布式爬虫架构。目前专注于Python领域的课程研发和教学工作，曾给网易、360、华为等多家大公司员工做过Python技术培训，具有丰富的实战和教学经验。

☛点击立即跟老师学习☚

 

「你将学到什么？」

【为什么学爬虫？】

       1、爬虫入手容易，但是深入较难，如何写出高效率的爬虫，如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中，经常容易遇到被反爬虫，比如字体反爬、IP识别、验证码等，如何层层攻克难点拿到想要的数据，这门课程，你都能学到！

       2、如果是作为一个其他行业的开发者，比如app开发，web开发，学习爬虫能让你加强对技术的认知，能够开发出更加安全的软件和网站

【课程设计】

一个完整的爬虫程序，无论大小，总体来说可以分成三个步骤，分别是：

1. 网络请求：模拟浏览器的行为从网上抓取数据。
2. 数据解析：将请求下来的数据进行过滤，提取我们想要的数据。
3. 数据存储：将提取到的数据存储到硬盘或者内存中。比如用mysql数据库或者redis等。

那么本课程也是按照这几个步骤循序渐进的进行讲解，带领学生完整的掌握每个步骤的技术。另外，因为爬虫的多样性，在爬取的过程中可能会发生被反爬、效率低下等。因此我们又增加了两个章节用来提高爬虫程序的灵活性，分别是：

1. 爬虫进阶：包括IP代理，多线程爬虫，图形验证码识别、JS加密解密、动态网页爬虫、字体反爬识别等。
2. Scrapy和分布式爬虫：Scrapy框架、Scrapy-redis组件、分布式爬虫等。

通过爬虫进阶的知识点我们能应付大量的反爬网站，而Scrapy框架作为一个专业的爬虫框架，使用他可以快速提高我们编写爬虫程序的效率和速度。另外如果一台机器不能满足你的需求，我们可以用分布式爬虫让多台机器帮助你快速爬取数据。

 

从基础爬虫到商业化应用爬虫，本套课程满足您的所有需求！

【课程服务】

专属付费社群+每周三讨论会+1v1答疑

 

「课程学习目录」

第1章：爬虫基础

1.爬虫介绍（资料在第一节中下载）

2.爬虫开发工具安装

3.HTTP协议介绍（1）

4.HTTP协议介绍（2）

5.用Chrome分析网页

6.爬虫前奏小结和作业

第2章：网络请求

1.urllib库-基本使用

2.urllib库-urlretrieve函数

3.urllib库-编码和解码

4.urllib库-url解析

5.urllib库-Requests类

6.urllib库-实战-猫眼票房

7.urllib库-urllib库爬虫作业

8.urllib库-ProxyHandler处理器

9.urllib库-Cookie原理讲解

10.urllib库-实战-知乎登录模拟实战（1）

11.urllib库-实战-知乎登录模拟实战（2）

12.urllib库-cookie加载与保存

13.requests库-基本使用

14.requests库-发送POST请求

15.requests库-使用代理

16.requests库-处理cookie

17.requests库-处理不信任的ssl证书

第3章：数据解析

1.xpath-基本介绍

2.xpath-谷歌本地安装xpathhelper插件

3.xpath-语法详细讲解

4.xpath-lxml解析HTML代码和文件

5.xpath-在lxml中使用xpath语法

6.xpath-实战-爬取瓜子二手车网站（1）

7.xpath-实战-爬取瓜子二手车网站（2）

8.xpath-实战-爬取瓜子二手车网站（3）

9.xpath-xpath作业

10.bs4-BeautifulSoup4库基本介绍

11.bs4-BeautifulSoup基本使用

12.bs4-四种常见的对象讲解

13.bs4-遍历文档树

14.bs4-find和find_all方法

15.bs4-select方法

16.bs4-实战-豆瓣Top250爬虫实战（1）

17.bs4-实战-豆瓣Top250爬虫实战（2）

18.bs4-实战-豆瓣Top250爬虫实战（3）

19.bs4-作业-爬取快代理ip

20.正则表达式-单字符匹配

21.正则表达式-多字符匹配

22.正则表达式-正则表达式小案例

23.正则表达式-开始、结束、贪婪和非贪婪

24.正则表达式-转义字符和原生字符串

25.正则表达式-分组

26.正则表达式-re模块常用函数

27.实战-赶集网租房信息爬虫（1）

28.实战-赶集网租房信息爬虫（2）

29.作业-正则表达式作业要求

第4章：数据存储

1.JSON字符串格式介绍

2.Python对象转换成JSON字符串

3.JSON字符串转换成Python对象

4.CSV处理-读取CSV文件的两种方式

5.CSV处理-写入CSV文件的两种方式

6.Excel处理-打开Excel和获取Sheet

7.Excel处理-Cell相关的操作

8.Excel处理-Cell常用数据类型

9.Excel处理-将数据写入Excel文件

10.Excel处理-编辑Excel文件

11.MySQL数据库-软件安装和包安装

12.MySQL数据库-数据库连接操作

13.MySQL数据库-数据库插入操作

14.MySQL数据库-数据库查找操作

15.MySQL数据库-数据库删除操作

16.MySQL数据库-数据库的更新操作

17.MySQL数据库-数据库操作总结

第5章：爬虫进阶

1.多线程介绍与threading基本使用

2.使用Thread类创建多线程

3.多线程共享全局变量的问题

4.Lock版生产者和消费者模式（1）

5.Lock版生产者和消费者模式（2）

6.Condition版本的生产者和消费者模式

7.线程安全的队列Queue

8.高速下载王者荣耀高清壁纸（1）

9.高速下载王者荣耀高清壁纸（2）

10.高速下载王者荣耀高清壁纸（3）

11.高速下载王者荣耀高清壁纸（4）

12.高速下载王者荣耀高清壁纸（5）

13.GIL理解和正确的利用GIL

14.GIL和Lock的关系

15.多线程爬虫作业要求

16.动态网页爬虫方案介绍

17.selenium和chromedriver基本使用

18.selenium关闭页面和浏览器

19.selenium定位元素

20.selenium表单元素操作

21.selenium的行为链

22.selenium操作cookie

23.selenium的隐式等待和显式等待

24.selenium打开和切换窗口

25.selenium设置代理IP

26.selenium补充

27.实战-12306抢票项目演示

28.实战-登录功能实现

29.实战-填充站点所对应的代号

30.实战-查找余票

31.selenium实战-解析列车信息（1）

32.selenium实战-解析列车信息（2）

33.selenium实战-确认乘客和席位

34.selenium实战-最终提交订单

35.实战-JS解密实战项目（1）

36.实战-JS解密实战项目（2）

37.实战-JS解密实战项目（3）

38.验证码识别-云打码平台介绍

39.验证码识别-云打码识别验证码

40.实战-目标网站分析

41.实战-目标网站登录页面参数获取

42.实战-下载验证码图片

43.字体反爬-字体反爬原理分析

44.字体反爬-字体解析

45.58同城字体反爬（1）

46.58同城字体反爬（2）

47.课程总结和实习僧爬虫作业介绍

第6章：Scrapy框架

1.Scrapy框架-Scrapy介绍及其安装

2.Scrapy框架-Scrapy框架架构介绍

3.Scrapy框架-Scrapy框架快速入门

4.Scrapy框架-实战-古诗文网爬虫实战（1）

5.Scrapy框架-实战-古诗文网爬虫实战（2）

6.Scrapy框架-实战-古诗文网爬虫实战（3）

7.Scrapy框架-CrawlSpider爬虫介绍

8.实战-猎云网爬虫（1）

9.实战-猎云网爬虫（2）

10.实战-猎云网爬虫（3）

11.实战-模拟登录GitHub

12.实战-zcool网站精选图高速下载（1）

13.实战-zcool网站精选图高速下载（2）

14.实战-zcool网站精选图高速下载（3）

15.实战-zcool网站精选图高速下载（4）

16.Scrapy框架-下载器中间件讲解

17.Scrapy框架-随机更换请求头

18.Scrapy框架-随机更换IP代理

19.实战-无限制爬取猎聘网（1）

20.实战-无限制爬取猎聘网（2）

21.实战-无限制爬取猎聘网（3）

22.实战-无限制爬取猎聘网（4）

23.实战-无限制爬取猎聘网（5）

24.分布式爬虫-分布式爬虫介绍

25.分布式爬虫-redis服务器介绍

26.实战-链家网全国房源信息爬取（1）

27.实战-链家网全国房源信息爬取（2）

28.实战-链家网全国房源信息爬取（3）

29.分布式爬虫-部署准备工作

30.分布式爬虫-爬虫部署流程实现

31.分布式爬虫-运行分布式爬虫

32.Scrapy集成selenium爬取简书（1）

33.Scrapy集成selenium爬取简书（2）

 

「7项超值权益，保障学习质量」

• 大咖讲解

技术专家系统讲解传授编程思路与实战。

• 答疑服务

专属社群随时沟通与讲师答疑，扫清学习障碍，自学编程不再难。

• 课程资料+课件

超实用资料，覆盖核心知识，关键编程技能，方便练习巩固。（部分讲师考虑到版权问题，暂未上传附件，敬请谅解）

• 常用开发实战

企业常见开发实战案例，带你掌握Python在工作中的不同运用场景。

• 大牛技术大会视频

2019Python开发者大会视频免费观看，送你一个近距离感受互联网大佬的机会。

• APP+PC随时随地学习

满足不同场景，开发编程语言系统学习需求，不受空间、地域限制。

 

「什么样的技术人适合学习？」

• 想进入互联网技术行业，但是面对多门编程语言不知如何选择，0基础的你
• 掌握开发、编程技术单一、冷门，迫切希望能够转型的你
• 想进入大厂，但是编程经验不够丰富，没有竞争力，程序员找工作难。

 

「悉心打造精品好课，32天学到大牛3年项目经验」

【完善的技术体系】

技术成长循序渐进，帮助用户轻松掌握

掌握Python知识，扎实编码能力

【清晰的课程脉络】

浓缩大牛多年经验，全方位构建出系统化的技术知识脉络，同时注重实战操作。

【仿佛在大厂实习般的课程设计】

课程内容全面提升技术能力，系统学习大厂技术方法论，可复用在日后工作中。

 

「你可以收获什么？」

1、学会网络爬虫的三大基本步骤：网络请求、数据解析、数据存储。

2、学会突破一些经典的反爬措施比如：IP代理、验证码识别、JS加密等。

3、学会如何编写高灵活性、高可维护性的爬虫程序。

 

订阅课程 开始学习