阿里P7主管疫情期间在家写出Python爬虫开发与项目实战，不过如此

 

阅前建议

对于学习本书有两点建议，希望能引起读者的注意。

第一点，读者可根据自已的实际情况选择性地学习本书的章节，假如之前学过Python或者Web前端的知识，前两章就可以蜻蜓点水地看一下。

第二点，大家从实战项目中应该学习分析过程和编码的实现方式，而不是具体的代码，授人以渔永远比授人以鱼更加有价值。

下面介绍下整体内容，文末附项目实战视频及本书的领取方式。

 

本文结构

本书总共分为三个部分：基础篇、中级篇和深入篇。

基础篇包括第1~7章，主要讲解了什么是网络爬虫、如何分析静态网站、如何开发一个完整的爬虫。

中级篇包括第8~ 14章，主要讲解了三种数据库的存储方式、动态网站的抓取、协议分析和Scrapy爬虫框架。

深入篇为第15~ 18章，详细介绍了大规模爬取中的去重问题以及如何通过Scrapy 框架开发分布式爬虫，最后又介绍了一个较新的爬虫框架PySpider。

以上就是本书的全部内容，看到以上介绍之后，是不是有赶快阅读的冲动呢？不要着急，接着往下看。

基础篇

第1~2章帮助大家回顾了Python 和Web方面的知识，主要是为之后的爬虫学习打下基础，毕竟之后要和Python、Web打交道。

分布式进程

第3~5章详细介绍了什么是网络爬虫、如何分析静态网站、如何从HTML页面中提取出有效的数据，以及对如何将数据合理地存储成各类文件以实现持久化。

网络爬虫结构

第6~7章包含了两个实战项目。第一个项目是基础爬虫，也就是一个单机爬虫，功能是爬取百度百科的词条，并据此讲解了一个爬虫所应该具有的全部功能组件以及编码实现。第二个项目是分布式爬虫，功能和基础爬虫一致， 在单机爬虫的基础上进行分布式改进，帮助大家从根本上了解分布式爬虫，消除分布式爬虫的神秘感。

基础爬虫框架

到7章为止，Python爬虫基础篇已经结束，这个时候大家基本上可以编写简单的爬虫，爬取一些静态网站的内容，但是Python爬虫开发不仅如此，大家接着往下学习吧。

 

 

中级篇

第8章详细介绍了sQLite、MySQL和MongoDB三种数据库的操作方式，帮助大家实现爬取数据存储的多样化。

数据库定义语言

第9章主要讲解了动态网站分析和爬取的两种思路，并通过两个实战项目帮助大家理解。

实战项目

第10章首先探讨了爬虫开发中遇到的两个问题一登录爬取问题和验证码问题，并提供了解决办法和分析实例。接着对Web端的爬取提供了另外的思路，当在PC网页端爬取遇到困难时，爬取方式可以向手机网页端转变。

第11章接着延伸第10章的问题，又提出了两种爬取思路。当在网页站点爬取遇到困难时，爬取思路可以向PC客户端和移动客户端转变，并通过两个实战项目帮助大家了解实施过程。

虾米音乐抓包效果

第12~14章由浅及深地讲解了著名爬虫框架Scrapy的运用，并通过知乎爬虫这个实战项目演示了Scrapy开发和部署爬虫的整个过程。

Scrapy架构

 

 

深入篇

第15章主要讲解了海量数据的去重方式以及各种去重方式的优劣比较。

哈希映射

第16~17章详细介绍了如何通过Redis和Scrapy 的结合实现分布式爬虫，并通过云起书院实战项目帮助大家了解整个的实现过程以及注意事项。

Request队列

第18章介绍了一个较为人性化的爬虫框架PySpider,并通过爬取豆瓣读书信息来演示其基本功能。

PySpider架构

本文的主题就是实战型，以大量系统的实战项目为驱动，由浅及深地讲解了爬虫开发中所需的知识和技能。本文比较适合初学者，既有对基础知识点的讲解，也涉及关键问题和难点的分析和解决，本文的初衷是帮助初学者夯实基础，实现提高。

项目实战视频

 

 

 

总的来说Python爬虫是一门很实用但是也不枯燥的技术，由于篇幅所限小编就介绍到这里，想要获取《Python爬虫开发与项目实战》与项目实战视频的小伙伴可以转发+关注后私信小编【学习】来得到获取方式吧~~~