python网络爬虫——第一节

不知道大家知不知道爬虫，相信很多人可能听过，但没有了解过，今天我就跟大家聊聊爬虫那些事。

听到爬虫，大家第一反应是什么呢？前不久，我跟小晨说，我学在爬虫，小晨特别可爱的跟我说会爬的毛毛虫吗？我当时有点意外，跟她解释说，爬虫是一种操作，通过一些代码把你想要的资料都全部找出来，为你节省一个一个去找的时间，便于你更好更快的筛选。

对知识巩固和深刻理解，是把写出来，讲给别人，这样是一种很不错的输出。

最近在学习Python爬虫，学习期间也遇到一些问题，获得了一些经验，所以今天在此将自己的学习系统地整理下来，如果大家有兴趣学习爬虫的话，可以将这些文章作为参考，也欢迎大家一起分享学习经验。有什么不足还希望大家能指出一起探讨。

在学习新知识、新事物的过程中，首先我们应该先知道是什么，而不是怎么做。因为连是什么都不知道，后面做的过程也会是一头雾水。那么，我今天就先说说，爬虫到底是什么？

用过Python的伙伴都知道Python用来写爬虫是件很简单很爽的事情，是一件超级神奇的的事。但是有些伙伴不了解爬虫到底是什么，会纳闷爬虫为什么爬虫要设置请求，到底怎么样去设置和发送这个请求会得到我们想要的。当然有的伙伴使用过很多爬虫的请求库，解析库，写过很多爬虫，但是可能他们的思路脉络也不是太清晰，所以有时候会出现各种问题，今天我就和大家一起来理清思路，一起学习。

爬虫即网络爬虫，英文是Web Spider。翻译过来就是网络上爬行的蜘蛛，如果把互联网看作一张大网，那么爬虫就是在大网上爬来爬去的蜘蛛，碰到想要的食物，就把他抓取出来。网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。

我们在浏览器中输入一个网址，敲击回车，看到网站的页面信息。这就是浏览器请求了网站的服务器，获取到网络资源。那么，爬虫也相当于模拟浏览器发送请求，获得到HTML代码。HTML代码里通常包含了标签和文字信息，我们就从中提取到我们想要的信息。

通常爬虫是从某个网站的某个页面开始，爬取这个页面的内容，找到网页中的其他链接地址，然后从这个地址爬到下一个页面，这样一直不停的爬下去，进去批量的抓取信息。那么，我们可以看出网络爬虫就是一个不停爬取网页抓取信息的程序。

看到这里，相信大家对爬虫是什么有了大概的了解，是不是觉得很神奇，是不是很好奇到底是怎么操作，有怎样的逻辑，下面我跟大家说说爬虫的流程。

爬虫的基本流程

发送请求——获取响应内容——解析内容——保存数据

1.发送请求

通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，然后等待服务器响应。这个请求的过程就像我们打开浏览器，在浏览器地址栏输入网址：www.baidu.com，然后点击回车。这个过程其实就相当于浏览器作为一个浏览的客户端，向服务器端发送了 一次请求。

拓展：

HTTP——Hyper Text Transport Protocol 超文本传输协议

HTTP是一个基于‘请求与响应’模式的、无状态的应用层协议，采用URL作为定位网络资源的标识。URL格式 ：http：//host[:port][path]

host:合法的Internet主机域名或IP地址

port：端口号（默认端口为80）

path：请求资源的路径

URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源。

2.获取响应内容

如果服务器能正常响应，我们会得到一个Response，Response的内容便是所要获取的内容，类型可能有HTML、Json字符串，二进制数据(图片，视频等）等类型。这个过程就是服务器接收客户端的请求，进过解析发送给浏览器的网页HTML文件。

3.解析内容

得到的内容可能是HTML，可以使用正则表达式，网页解析库进行解析。也可能是Json，可以直接转为Json对象解析。可能是二进制数据，可以做保存或者进一步处理。这一步相当于浏览器把服务器端的文件获取到本地，再进行解释并且展现出来。

4.保存数据

保存的方式可以是把数据存为文本，也可以把数据保存到数据库，或者保存为特定的jpg，mp4 等格式的文件。这就相当于我们在浏览网页时，下载了网页上的图片或者视频。

看到这里，大家是不是已经对爬虫的基本工作原理工作流程有了清晰的认识了呢。罗马并不是一天建成的，饭要一口一口吃，路要一步一步走，学习也是一样，要循序渐进。只要积累了足够多的经验，大家肯定能成为爬虫大神的。

接下来，我会给大家继续分享一些我在学习爬虫时的经验总结。