《Python爬虫:入门+进阶》大纲
第一章:Python 爬虫入门
1、什么是爬虫
网址构成和翻页机制
网页源码结构及网页请求过程
爬虫的应用及基本原理
2、初识Python爬虫
Python爬虫环境搭建
创建第一个爬虫:爬取百度首页
爬虫三步骤:获取数据、解析数据、保存数据
3、使用Requests爬取豆瓣短评
Requests的安装和基本用法
用Requests 爬取豆瓣短评信息
一定要知道的爬虫协议
4、使用Xpath解析豆瓣短评
解析神器Xpath的安装及介绍
Xpath的使用:浏览器复制和手写
实战:用 Xpath 解析豆瓣短评信息
5、使用pandas保存豆瓣短评数据
pandas 的基本用法介绍
pandas文件保存、数据处理
实战:使用pandas保存豆瓣短评数据
6、浏览器抓包及headers设置(案例一:爬取知乎)
爬虫的一般思路:抓取、解析、存储
浏览器抓包获取Ajax加载的数据
设置headers 突破反爬虫限制
实战:爬取知乎用户数据
7、数据入库之MongoDB(案例二:爬取拉勾)
MongoDB及RoboMongo的安装和使用
设置等待时间和修改信息头
实战:爬取拉勾职位数据
将数据存储在MongoDB中
补充实战:爬取微博移动端数据
8、Selenium爬取动态网页(案例三:爬取淘宝)
动态网页爬取神器Selenium搭建与使用
分析淘宝商品页面动态信息
实战:用Selenium 爬取淘宝网页信息
第二章:Python爬虫之Scrapy框架
1、爬虫工程化及Scrapy框架初窥
html、css、js、数据库、http协议、前后台联动
爬虫进阶的工作流程
Scrapy组件:引擎、调度器、下载中间件、项目管道等
常用的爬虫工具:各种数据库、抓包工具等
2、Scrapy安装及基本使用
Scrapy安装
Scrapy的基本方法和属性
开始第一个Scrapy项目
3、Scrapy选择器的用法
常用选择器:css、xpath、re、pyquery
css的使用方法
xpath的使用方法
re的使用方法
pyquery的使用方法
4、Scrapy的项目管道
Item Pipeline的介绍和作用
Item Pipeline的主要函数
实战举例:将数据写入文件
实战举例:在管道里过滤数据
5、Scrapy的中间件
下载中间件和蜘蛛中间件
下载中间件的三大函数
系统默认提供的中间件
6、Scrapy的Request和Response详解
Request对象基础参数和高级参数
Request对象方法
Response对象参数和方法
Response对象方法的综合利用详解
第三章:Python爬虫进阶操作
1、网络进阶之谷歌浏览器抓包分析
http请求详细分析
网络面板结构
过滤请求的关键字方法
复制、保存和清除网络信息
查看资源发起者和依赖关系
2、数据入库之去重与数据库
数据去重
数据入库MongoDB
第四章:分布式爬虫及实训项目
1、大规模并发采集——分布式爬虫的编写
分布式爬虫介绍
Redis数据库和Scrapy_redis安装和使用
消息队列和RabbitMQ
Celery分布式队列简介
2. 实训项目(一)—— 58同城出租信息爬取
爬取58同城租房信息
scrapy爬虫抓取网站的整体流程
解析函数和错误回调的编写
利用管道进行数据清洗、计算和入库
使用代理IP突破反爬限制
确定网页爬取的优先级和管道的优先级
3. 实训项目(二)—— 去哪儿网模拟登陆
利用cookie进行模拟登陆
cookie和session的重要性
分析HTTP请求寻找模拟登陆需要的所有cookie值
4. 实训项目(三)—— 京东商品数据抓取
通用爬虫CrawlSpider
链接提取器和爬取规则
部署分布式爬虫实现分布式爬取
利用scrapy_redis实现URL去重
- 高效的学习路径 -
一上来就讲理论、语法、编程语言是非常不合理的,课程会直接从具体的案例入手,通过实际的操作,学习具体的知识点。我们为你规划了一条系统的学习路径,让学习更加系统和高效。
说点具体的,比如我们会直接用 lxml+Xpath取代 BeautifulSoup 来进行网页解析,减少你不必要的检查网页元素的操作,工具的安装都有详细教程及常见错误处理,多种工具都能完成的,我们会给你最简单的方法,这些看似细节,但可能是很多人都会踩的坑。
- 每课都有学习资料 -
网上的资料非常不系统,且良莠不齐,往往搜索、筛选非常浪费时间。当然你可能收集了以G计的的学习资源,但保存后从来没打开过?我们已经帮你找到了最有用的那部分,并且用最简单的形式描述出来,帮助你学习,你可以把更多的时间用于练习和实践。
考虑到各种各样的问题,我们在每一节都准备了课后资料,包含四个部分:
1.课程重点笔记,详细阐述重点知识,帮助你理解和后续快速复习;
2.默认你是小白,补充所有基础知识,哪怕是软件的安装与基本操作;
3.课内外案例提供参考代码学习,让你轻松应对主流网站爬虫;
4.超多延伸知识点和更多问题的解决思路,让你有能力去解决实际中遇到的一些特殊问题。
某节部分课后资料
- 超多案例,覆盖主流网站 -
课程中提供了目前最常见的网站爬虫案例:豆瓣、百度、知乎、淘宝、京东、微博……每个案例在课程视频中都有详细分析,老师带你完成每一步操作,专治各种 “看得懂案例,写不出代码” 。
另外,我们还会补充比如小猪、链家、58同城、网易云音乐、微信好友等案例,提供思路与代码。多次的模仿和练习之后,你可以很轻松地写出自己的爬虫代码,并能够轻松爬取这些主流网站的数据。
- 爬虫技能进阶及数据存储、处理 -
懂得基本的爬虫是远远不够的,所以我们会用实际的案例,带你了解一些网站的反爬虫措施,并且用具体的技术绕过限制。比如异步加载、IP限制、headers限制、验证码等等,这些比较常见的反爬虫手段,你都可以很好地规避。
工程化的爬虫、及分布式爬虫技术,让你有获取大规模数据的可能,一次性从入门到进阶。除了爬虫的内容,你还将了解数据库(Mongodb)、pandas 的基本知识,帮你存储爬取的数据,同时可以对数据进行管理和清洗,你可以获得更干净的数据,以便后续的分析和处理。
- 导师团队 -
小X和小Y都是知乎爬虫话题下的大V,并且都是造数的全职爬虫工程师。他们给过我很多帮助,这个课也主要由他们来讲授。小X和小Y在在成为大佬的路上也爬过很多坑,所以知道小白要学什么、怎么学。最重要的是,他们喜欢分享,还威胁大BOSS黄震昕(造数CEO)加入,这也是花无数心血完成的精品课程。
黄震昕
造数科技创始人兼CEO
创立的造数科技是一家新一代智能云数据采集服务提供商,帮助企业和个人轻松获取并分析、利用外部数据,帮助其完成市场分析、竞品监控、舆情监控、商机发现等。造数上线一年以来,已经服务了13000多个企业和个人客户,分布在零售、电商、金融、资询、大数据等行业。造数新一代智能云爬虫产品已编入人教版高中信息技术教材(2018年9月出版)。
刘畅(小X)
高级爬虫工程师
造数爬虫项目组主要负责人, CPO(首席爬虫工程师),因常年对淘宝,京东,58,高德,美团,等互联网独角兽企业进行反爬策略分析并抓取,而被各大互联网公司成为头号“害虫”,见之必杀(程序员何苦为难程序员),目前造数构建大型分布式爬虫,和开发日IP过十万的高效代理池系统。
张世润(小Y)
高级爬虫工程师
爱好者:喜欢Python,擅长爬虫,数据处理;
创作者:知乎爬虫话题大V,原创文章近百篇,拥有数千粉丝;
学习者:爱学习的“萌新”,自学成长为爬虫工程师,深谙自学之道,愿分享所有能量带大家入门。
- 老师及时解决你的每一个问题 -
除了经验丰富、带你一步步实操的课程老师之外,DC学院还建立了提升效率的学习群,助教老师会在群里及时解答学员每一个疑问。同时,你还可以跟一群未来优秀的爬虫工程师,分享经验、代码、数据,探讨爬虫和数据分析技术。
也有同学经过一个月的学习,能够写出分布式的框架,去爬去大规模的数据。我们也有信心让你在短时间内,达到爬取大规模数据的水平。