python爬虫知识体系80页md笔记，0基础到项目高手，第(1)期：python爬虫概念和分类

本文主要学习一下关于爬虫的相关前置知识和一些理论性的知识，通过本文我们能够知道什么是爬虫，都有那些分类，爬虫能干什么等，同时还会站在爬虫的角度复习一下http协议。

完整版笔记直接地址： 请移步这里

---

共 8 大章，37 子模块，总计 56668 字

---

爬虫本文概要

爬虫特点概要:

1.知识点碎片化

爬虫方向的知识点都是十分碎片化的，因为我们在写爬虫的时候会面对各种各样的网站，每个网站实现的技术都有相似，但是大多数时候还是有区别的，这也就要求我们根据不同的网站使用不通的应对手段，爬虫并不向我们在学习web阶段的时候要实现某一功能只需要按照套路就能够做出来，本阶段本文主要就是交给大家常用的一些网站爬取技术。

2.学习难度

爬虫的入门相对而言还是要比web简单，但是在后期，爬虫的难度要比web难，难在哪呢？在于爬虫工程师与网站的开发与运维人员的对抗，可能你写了一个网站的爬虫，结果该网站的运维人员发现之后添加了反爬措施，那么作为爬虫工程师就需要解决这个反爬。

3.学习特点

本阶段的本文并不像web阶段有一个完整的web项目进行学习，因为爬虫的特点，也就导致了我们的爬虫阶段本文是以某网站爬虫为讲解对象的，也就是一个技术点一个案例。

4.后续发展

相对于web主要掌握框架的使用，然后就是熟悉业务的单一方向，爬虫需要学生掌握的东西要更多，同学们在工作过程中可能根据工作需要涉及到更多从没有接触过的知识。

5.法律层面

目前而言，爬虫相关工作属于灰色地带，主要是目前国内现行法律对于爬虫的相关评判还没有一个明确的制度。

6.课件

课件可能存在bug，可能会定期更新，课件中的案例可能因为网站更新或者某些网络原因失效，那么同学们在做练习或者学习的时候可以自己找一些网站进行练习。

7.建议

好记性不如烂笔头，建议大家多找一些网站进行爬取练习。

爬虫基础

本阶段本文主要学习一下关于爬虫的相关前置知识和一些理论性的知识，通过本阶段的本文我们能够知道什么是爬虫，都有那些分类，爬虫能干什么等，同时还会站在爬虫的角度复习一下http协议。

爬虫概述

知识点：

• 了解 爬虫的概念

• 了解 爬虫的作用

• 了解 爬虫的分类

• 掌握 爬虫的流程

---

1. 爬虫的概念

模 拟浏览器，发送请求，响应

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。

• 原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做
• 爬虫也只能客户端(浏览器)所展示出来的数据

---

知识点：了解 爬虫的概念

---

2. 爬虫的作用

爬虫在互联网世界中有很多的作用，比如：

1. [数据采集](https://www.lagou.com/jobs/list_Python%20%E7%88%AC%E8%99%AB?labelWords=&fromSearch=true&suginput=)

   1. [抓取微博评论](https://weibo.com/)(机器学习舆情监控)
      2. [抓取招聘网站的招聘信息](https://www.lagou.com/jobs/list_python%E7%88%AC%E8%99%AB?px=default&city=%E5%8C%97%E4%BA%AC#filterBox)(数据分析、挖掘)
         3. [新浪滚动新闻](https://news.sina.com.cn/roll/#pageid=153&lid=2509&k=&num=50&page=1)
            4. [百度新闻网站](http://news.baidu.com/)
2. [软件测试](https://www.lagou.com/jobs/list_%E8%87%AA%E5%8A%A8%E5%8C%96%E6%B5%8B%E8%AF%95?city=%E5%8C%97%E4%BA%AC&cl=false&fromSearch=true&labelWords=&suginput=)

   1. [爬虫之自动化测试](https://blog.csdn.net/ZTZY520/article/details/53940127)
      2. [虫师](https://www.cnblogs.com/fnng/)
3. [12306抢票](http://www.12306.cn/mormhweb/)

4. 网站上的投票

   1. [投票网](https://www.toutoupiao.com/)
5. 网络安全

   1. [短信轰炸](https://www.sohu.com/a/232477043_99936149)

   2. [注册页面1](https://hwid1.vmall.com/CAS/portal/userRegister/regbyphone.html?reqClientType=1&loginChannel=1000002&countryCode=cn&loginUrl=https%3A%2F%2Fhwid1.vmall.com%2FCAS%2Fportal%2FcloudLogin.html&service=https%3A%2F%2Fwww.hicloud.com%3A443%2Fothers%2Flogin.action&lang=zh-cn&themeName=red)
   3. [注册页面2](https://bcy.net/register)
   4. [注册页面3](http://member.chinaacc.com/member/register.shtm)
     5. [web漏洞扫描](https://paper.seebug.org/537/)

---

知识点：了解 爬虫的作用

---

3. 爬虫的分类

3.1 根据被爬取网站的数量不同，可以分为：

• 通用爬虫，如 搜索引擎
• 聚焦爬虫，如12306抢票，或专门抓取某一个（某一类）网站数据

3.2 根据是否以数据为目的，可以分为：

• 功能性爬虫，给你喜欢的明星投票、点赞
• 数据增量爬虫，比如招聘信息

3.3 根据url地址和对应的页面内容是否改变，数据增量爬虫可以分为：

• 基于url地址变化、内容也随之变化的数据增量爬虫

• url地址不变、内容变化的数据增量爬虫

知识点：了解 爬虫的分类

---

4. 爬虫的流程

爬虫的基本流程如图所示

1. 一个url
2. 向url发送请求，并响应（需要http协议）
3. 如果从响应中提取url，则继续发送请求响应
4. 如果从响应中提取数据，则将数据进行保存

---

知识点：掌握 爬虫的流程

---

完整笔记请看文章开头