Python爬虫从入门到精通——爬虫基础概念

爬虫概述

1. 爬虫的概念
   模拟浏览器，发送请求，获取响应

   • 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。
   • 原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做
   • 爬虫也只能获取客户端(浏览器)所展示出来的数据

2. 爬虫作用

   • 数据采集
   • 软件测试
   • 网络安全
   • 漏洞扫描

3. 爬虫的分类

   • 根据被爬取网站的数量不同：
     • 通用爬虫，如 搜索引擎
     • 聚焦爬虫，如12306抢票，或专门抓取某一个（某一类）网站数据
   • 根据是否以获取数据：
     • 功能性爬虫，给你喜欢的明星投票、点赞
     • 数据增量爬虫，比如招聘信息
       • 基于url地址变化、内容也随之变化的数据增量爬虫
       • url地址不变、内容变化的数据增量爬虫
         4 . 爬虫流程
         

• 获取一个url
• 向url发送请求，并获取响应（需要http协议）
• 如果从响应中提取url，则继续发送请求获取响应
• 如果从响应中提取数据，则将数据进行保存