【通用技术】2个月精通Python爬虫——3大爬虫框架+6场实战+分布式爬虫，包教包会

网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动的抓取信息的程序或者脚本。

网络爬虫是互联网上进行信息采集的通用手段，在互联网的各个专业方向上都是不可或缺的底层技术支撑。本课程从爬虫基础开始，全面介绍了Python网络爬虫技术，并且包含各种经典的网络爬虫项目案例。

分类：

网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的。

• 通用网络爬虫
• 聚焦网络爬虫
• 增量式网络爬虫
• Deep Web 爬虫

爬虫有什么用呢？

你要找工作，想知道哪个岗位当前最热门，爬取分析一下招聘网站的岗位信息便知一二；
世界杯球迷分布情况，爬取分析一下淘宝各球队球衣销量，或者相关论坛或贴吧的一些数据即可；
想知道知乎大神们关注领域情况，可以爬取分析一下大神们的回答；
……

有了数据才能做数据分析，互联网为你提供了海量的数据来源，就看你有没有水平获得这些数据。Python是实现爬虫最佳的选择，几行代码就能实现基本的爬虫，学习简单且很容易获得更大成就感。

爬虫技术是入门Python最好的方式（没有之一），也是大数据分析、机器学习的基础，掌握基本的爬虫后，再去学习其他Python技能，会更得心应手。

如何掌握爬虫技术

那么Python爬虫技术该如何学习呢？我们已经为你规划好了学习路径。三大框架、六场实战，让你全面掌握Python爬虫技术，在高级部分，带你掌握反爬虫技术以及如何绕过反爬虫，以及编写分布式爬虫来提升数据爬取效率。

第1阶段：爬虫入门及框架学习

正则表达式是Python爬虫必不可少的神器，通过它可以对文本进行过滤或者按照规则进行匹配。Urllib、Requests、Scrapy是Python爬虫最常用的三个库和框架，掌握它们可以让爬虫编写工作事半功倍。

课时1： Python网络爬虫简介与表达式基础
课时2： 基于Python Urllib库编写爬虫项目
课时3： 网络爬虫抓包分析技术精讲
课时4： 基于Python Requests库编写爬虫项目
课时5： 基于Scrapy框架编写爬虫项目 

第2阶段：项目实战

综合前面所学知识，爬取如下这些网站的数据，在项目实战中分析和解决爬取过程中遇到的难点问题。

课时6： 招聘网站信息爬虫项目开发实战
课时7： 淘宝商品信息爬虫项目开发实战

课时8：知乎信息爬虫项目开发实战

第3阶段：高级应用

一些网站中应用了反爬虫技术，导致无法爬取数据，高级应用中将介绍一些常见的反爬方式与攻克手段。

如果爬取大量的数据，单机爬虫的能力是有限的，我们还将为您讲解如何编写集群分布式爬虫提升数据获取的效率。

课时9： 爬虫常见的反爬策略与反爬攻克手段

课时10：分布式爬虫编写实战

更多精品技术课程：

阿里云大学官网（阿里云大学 - 官方网站，云生态下的创新人才工场）