python网络爬虫入门概论

《精通python网络爬虫》韦玮著：
以实战为导向，讲透核心技术和主流框架，帮助读者快速、深度掌握网络爬虫的爬取技术与反爬攻关技巧。

本书从3个维度讲解：

技术维度：
包括网络爬虫的工作原理、如何用urllib库编写网络爬虫、爬虫的异常处理、正则表达式、Cookie的使用、爬虫的浏览器伪装技术、定向爬取技术、反爬虫技术，以及如何自己动手编写爬虫。
工具维度：
以流行的py网络爬虫框架Scrapy为对象。
实战维度：
案例实践。

1.1 功能：

可以自动化浏览网络中的信息，当然这些浏览需要按照我们制定的规则进行，这些规则称为网络爬虫算法。

1.2 基于：

使用python可以方便地编写出爬虫程序，进行互联网信息的自动化检索。

1.3 实现过程：

搜索引擎离不开爬虫，比如百度搜索引擎的爬虫叫做百度蜘蛛
。百度蜘蛛每天在海量的互联网信息中进行爬取，爬取优质信息并收录。
当用户在百度搜索引擎上检索对应关键词时，百度将对关键词进行分析处理。
那么如何覆盖互联网中更多的优质网页？如何筛选页面？这些都由百度爬虫蜘蛛的算法决定。
采用不同的算法，爬虫的运行效率会不同，爬取结构也会有所差异。
所以我们在研究爬虫时，不仅要了解爬虫如何实现，还需要知道一些常见爬虫算法，如果有必要，还需要自己去制定相应的算法。

1.4 学习爬虫的原因

1. 可以私人订制一个搜索引擎。
2. 大数据时代下的数据源分析—数据源的寻找。
3. 对于SEO从业者来说，可以更加深层次的理解搜索引擎爬虫的工作原理，从而更好地进行搜索引擎优化。

2.1 网络爬虫的组成：控制节点、爬虫节点、资源库。

2.2 分类：

通用网络爬虫（目标资源在全互联网中，目标数据巨大，因此对性能要求很高；采取一定的爬行策略，主要有深度优先爬行策略和广度优先爬行策略）
主要应用在大型搜索引擎。
聚焦网络爬虫：（也叫主题网络爬虫，不像通用网络爬虫将目标定位在全互联网，而是定位在与主题相关的页面中。可以大大节省带宽以及服务器资源）
主要用在对特定信息的爬取中，为某一类特定的人群提供服务。
主要由初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块、内容评价模块（评价内容的重要性）、链接评价模块（同理链接重要性，由以上可以确定哪些页面优先访问）等构成。
策略主要有4种：基于内容/链接评价的爬行策略、基于增强学习/语境图的爬行策略。
增量式网络爬虫：对应着增量式更新→指在更新时只更新改变的地方，所以在爬取中只爬取内容发生变化的网页或新产生的网页，对于未发生内容改变的网页，则不会爬取。
也就是在一定程度上保证所爬取的页面尽可能是新页面。
深层网络爬虫：
首先了解深层页面的概念：在互联网中网页按存在方式分类，分为表层页面和深层页面，所谓表层页面指不需要提交表单，使用静态的链接就能够到达的静态页面；而深层页面则隐藏在表单后面，是需要提交一定的关键词才能够获取到的页面。在互联网中，深层页面的数量往往比表层页面的数量要多很多。
爬取深层页面，需要想办法自动填写好对应表单，所以，深层网络爬虫最重要的部分即为表单填写部分（填写有两种类型）。
以上等等..在实际中多是这几类爬虫的组合体。

2.3 技能总览：

自动去网页广告、爬取多站新闻集中阅读、爬取金融信息进行投资分析等…..
总之，一定程度上代替手工访问网页。

2.4爬虫与搜索引擎的关系是密不可分的，以下对搜索引擎的核心技术进行一个简单的讲解：

2.5用户爬虫：

是网络爬虫的其中一种。是专门用来爬取用户数据的。相对来说是比较敏感的信息，所以用户爬虫的利用价值也相对较高。
————————————————————————————————————————————-————————————————————————————————————————————————————————————————————————

3 核心技术篇

1.爬虫实现原理：不多赘述，要知道聚焦网络爬虫比通用网络爬虫多出三步：即目标的定义、无关链接的过滤、下一步要爬取的URL地址的选取等。
2.

3.爬取网页