爬虫之理——爬虫基础（图文详解）

一. 爬虫的概念

1. 模拟客户端，发送请求，获取响应。
2. 原则上，只要客户端能做的事情，爬虫都能做。
3. 爬虫只能获取客户端展示出来的数据。

二. 爬虫的作用

• 数据采集（采集的数据用于数据分析、挖掘）
• 软件测试（参考：虫师）
• 网络安全（参考：Seebug）
• 网络抢票 / 投票

三. 爬虫的分类

  根据被爬网站的数量可将爬虫分为通用爬虫和聚焦爬虫。
爬虫的分类图：

四. 爬虫的流程

1. 获取一个url。
2. 向url发送请求，获取响应。

   • 如果从响应中提取到新的url，则继续发送请求并获取响应。

   • 如果从响应中提取到数据，则将数据进行保存。

爬虫的流程图：