python爬虫参考文献_02-认识python爬虫

学习目的

了解爬虫，爬虫起源；

爬虫是什么

专业术语：网络爬虫（又被称为网页蜘蛛，网络机器人）

网络爬虫，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。

爬虫起源（产生背景）

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战；

搜索引擎有Yahoo，Google，百度等,作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南

网络爬虫是搜索引擎系统中十分重要的组成部分，它负责从互联网中搜集网页，采集信息

这些网页信息用于建立索引从而为搜索 引擎提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。

网络爬虫程序的优劣，很大程度上反映了一个搜索引擎的好差。

不信，你可以随便拿一个网站去查询一下各家搜索对它的网页收录情况，爬虫强大程度跟搜索引擎好坏基本成正比。

搜索引擎工作原理

第一步：抓取网页（爬虫）

搜索引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链接，像蜘蛛在蜘蛛网上爬行一样，所以被称为“蜘蛛”也被称为“机器人”。搜索引擎蜘蛛的爬行是被输入了一定的规则的，它需要遵从一些命令或文件的内容。

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（R