爬虫基础之爬虫基本原理
文章目录
- 爬虫基本原理
-
- 爬虫概述
- 能抓怎样地数据
- JavaScript渲染页面
- 会话和Cooikes
-
- 静态网页和动态网页
- 无状态HTTP
- 代理的基本原理
-
- 基本原理
- 代理的作用
- 爬虫代理
- 代理分类
- 常见的代理设置
爬虫基本原理
我们可以把互联网比作一张大网，而爬虫（即网络爬虫）就是在网上爬行的蜘蛛。信息。把节点间的连线比作网页与网页之间的连接关系，这样蜘蛛可以通过一个节点后，顺着节点连线爬行到达下一个节点，即通过一个网页可以继续获取网页的网页，这样整个网的节点便便可以被蜘蛛全部爬行，网站的数据就可以被抓取下来了。
爬虫概述
简单来说，爬虫就是获取网页并提取和保存信息的自动化程序。下面简要概括一下。
1.获取网页
爬虫给首先要做的工作就是获取网页，这里就是获取网页的源代码。 源代码里包含了网页的部分有用信息，所以只要把源代码获取下来，就可以从中提取想要的信息了。
Python提供了许多库来帮助我们实现这个操作，如urlib、requests等。我们可以用这些库来帮我们实现HTTP请求操作，请求和响应都可以用类库提供的数据结构来表示，得到相应之后只需要解析数据结构中的Body部分即可，即得到网页的源代码，这样我们可以用程序来实现获取网页的过程了。
2.提取信息
获取网页源代码后，接下来就是分析网页源代码，从中提取我们想要的数据。首先，最通用的方法便是采用正表达式提取，这是一个万能的方法，但是在构造正则表达式时比较复杂且容易出错。
提取信息是爬虫非常重要的部分，它可以使杂乱的数据变得条理清晰，以便我们后续处理和分析数据。
3.保存数据
提取信息后，我们一般会将提取到的数据保存到某处以便后续使用。这里保存形式有多种多样，如可以简单保存为TXT文本或JSON文本，也可以保存到数据库，如MySQl和MongoDB等，也可以保存至远程服务器，如借助SFTP进行操作等。
4.自动化程序
爬虫就是代替我们来完成这份爬取工作的自动化程序，它可以在抓取过程中进行各种异常处理、错误重试等操作，确保爬取持续高效地进行。
能抓怎样地数据
在网页中我们能看到各种各样地信息，最常见的便是网页，它们对应着HTML代码，而最常抓取的便是HTML源代码。另外，可能有些网页返回的不是HTML代码，而是一个JSON字符串（其中API接口大多使用这样的形式）。还有一些二进制数据，如图片、视频和音频等。利用爬虫，以及各种扩展名的文件，如CSS、JavaScript和配置文件等，这些都i可以进行抓取。
上述内容其实都对应各自的URL，是基于HTTP和HTTPS协议的，只要是这种数据，爬虫都可以抓取。
JavaScript渲染页面
有时候，我们在使用urllib或requests抓取网页时，得到的源代码实际和浏览器中看到的不一样。
这是一个非常常见的问题。现在网页越来越多地采取Ajax、前端模块化工具来构建，整个网页可能都是由JavaScript渲染出来的，也就是说原始的HTML代码就是一个空壳，例如：
DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>This is a Demotitle>
head>
<body>
<div id="container">
div>
body>
<script src="app.js">script>
html>
body节点里面只有一个id为container的节点，但需要注意在body节点后引入了app.js，它便能完成网站的渲染。
在浏览器中打开这个页面的时候，首先会加载这个 HTML 内容，然后这个浏览器会发现引入了一个 app.js 文件，然后再去请求文件，获取到文件后，可能会出现其中的JavaScript代码，而JavaScript向修改HTML中的节点，其添加内容，最终得到完整的页面。
但是在用urllib或requests等库请求当前页面时，我们得到的只是这个HTML代码，它不会帮助我们继续加载这个JavaScript文件，这样就可以看不到浏览器中的内容了。
这也解释了为什么有时我们会得到源代码和浏览器中看到的不一样。
会话和Cooikes
在浏览网站的过程中，我们经常会遇到需要登录的情况，某些页面只有登录之后才可以访问，而且登录之后可以连续访问很多次网站，但是已经过生日就需要重新登录。网站，在打开器时就自动登录了，而且很长时间都不会失效，这种情况又是为什么？这里面涉及会话（Session）和Cookies的相关知识。
静态网页和动态网页
我们需要先了解一下静态网页和动态网页的概念。
DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>This is a Demotitle>
head>
<body>
<div id="container">
<div class="wrapper">
<h2 class="title">Hello Worldh2>
<p class="text">Hello, this is a paragraph.p>
div>
div>
body>
html>
这是最基本的HTML代码，我们将其保存为一个.html文件，然后把它放在某个台拥有固定公网IP的主机上，主机上装上Apache或Nginx等服务器，这样这台主机就可以作为服务器了，其他人可以通过访问服务器查看页面，就搭建了一个最简单的网站。
这种网页的内容是HTML代码编写的，文字、土浦安等内容均是通过写好的HTML代码来指定，这种页面叫做静态页面。它加载速度快，编写简单，但是存在很大的缺陷， 如可维护性差，不能根据URL灵活多变地显示内容等。例如，我们想给这个网页地URL传参，就没法做到。
因此，动态网页应运而生，它可以动态解析URL中参数的变化，关联数据库并动态呈现不同的页面内容，非常灵活多变。我们现在遇到的大多数网站都是动态网站，它们不再是一个简单的HTML，而可能是由JSP、PHP、Python等语言编写的，其功能比静态网页强大和丰富多了。
再回到我们开始说的，很多页面需要登录后才能查看。按照一般逻辑，输入用户名和密码之后，肯定是拿到了一种类似凭证的东西，有了它，我们才能保持登录状态，才能访问登录之后才能看到的页面。这种凭证其实就是会话和Cooikes共同产生的结果。
无状态HTTP
在了解会话和Cooikes之前，我们还需要了解HTTP的一个特带你，叫做无状态。
HTTP的无状态是指HTTP协议对事务处理是没有记忆能力的，也就是说服务器不知道客户端是什么状态。 当我们向服务器请求请求后，服务器解析此，返回的响应响应，服务负责完成这个过程，而且这个过程是完全独立的，服务器不会记录后续状态的变化，也需要缺少状态记录。的重复请求，才能获取及时响应，只是这种状态不是我们想要的。
这时两个用于保持HTTP连接状态的技术就出现了，它们分别是会话和Cooikes。会话在服务端，也就是网站的服务器，用来保存用户的会话信息；Cooikes在客户端，也可以理解为浏览器端，有了Cooikes，浏览器在下次访问网页时会自动附带上它发送给服务器，服务器通过识别Cooikes并鉴定出是哪个用户，然后再判断用户是否为登陆状态，然后返回对它的响应。
我们可以理解为Cooikes里面保存了登录的凭证，有了它，只需要在下次请求携带Cooikes发送请求而不必重新输入用户名、密码等信息重新登陆了。
因此在爬虫中，有时候需要处理登录才能访问的页面时，我们一般会直接将登陆成功后获取的Cooikes放在请求头里面直接请求，而不必重新模拟登录。
下面，我来了解一下它们的原理。
1.会话
会话，其本来的意思是指有始有终的一系列动作/消息。例如，电话时，从电话电话拨号到挂断电话中间的一系列过程可以称为一个会话。
而在Web中，会话对象用来存储特定用户会话所需的属性及配置信息。
2.Cooikes
Cooikes指某些网站为了辨别用户身份、进行会话跟踪而存储在用户本地终端上的数据。
会话维持 ：
那么，我们怎么利用Cooikes保持状态呢？当客户端第一此请求服务器时，服务器会返回一个请求头中带有Set-Cookie字段的响应给客户端，用来标记是哪一个用户，客户端浏览器会把Cooikes保存起来。当浏览器下次请求该网站的时候，浏览器会把此Cooikes放到请求头一起提交给服务器，Cooikes携带了会话ID信息，服务器检查该Cooikes即可找到对应的会话是什么，然后再判断会话来辨认用户状态。
在成功登录某个网站时，服务器会告知客户端设置哪些 Cookie 信息，在访问页面时客户端将 Cookie 发送给服务器，然后再找到对应的会话判断。变量是有效的，然后显示用户处于登录状态，此时返回登录后才可以查看网页内容，浏览器可以再进行解析便可以看到了。
反之，如果传给服务器的 Cookie 被输入了，或者会话已经过期了，就不能继续访问页面，此时可能会收到错误的响应跳转或者登录页面我们将重登录。
所以，Cookies 和会话需要配合，有一个客户端，一个服务端，二者共同协作，就实现了登录会话控制。
属性结构：
接下来，我们来看看Cooikes有哪些内容。以CSDN为例。
可以看到，这里有很多条目，其中每个条目可以称为Cooike。它有如下几个属性：
- Name：该Cooike的名称。一旦创建，该名称便不可更改。
- Value：该Cooike的值。如果值为Unicode字符，需要为字符编码。如果值为二进制数据，则需要BASE64编码。
- Domain：可以访问该Cooike的域名。例如，如果设置为csdn.net，则所有以csdn.net解为的域名都可以访问。
- Max Age：该Cooike失效的时间，单位为秒，也常和Expires一起使用，通过它可以计算出其有效时间。Max Age如果为正数，则该Cooike在Max Age秒后失效。如果为负数，则关闭浏览器后失效，浏览器也不会以任何形式保存该Cooike。
- Path：该Cooike的使用路径。如果设置为/path/，则只有路径为/path/的页面可以访问该Cooike。如果设置为/，则本域名下的页面都可以访问该Cooike。
- Size字段：此Cooike的大小。
- HTTP字段：Cooike的httponly属性。若此属性为true，则只有在HTTP头中会带有此Cooike的信息，而不能通过document.cooike来访问此Cooike。
- Secure：该Cooike是否仅被使用安全协议传输。安全协议有HTTPS和SSL等，在网络上传输数据之前先将数据加密。默认为false。
会话Cooike和持久Cooike
从表面意思说，会话Cooike就是把Cooike放在浏览器内存里，浏览器在关闭之后该Cooike即失效；持久Cooike则会保存到客户端的硬盘中，下次还可以继续使用，用于长久保持用户登录状态。
其实严格来说，并没有会话Cooike和持久Cooike之分，只是由Cooike的Max Age或Expires字段决定了过期的时间。
一些持久化登录的网站就是把Cooike的有效时间和会话有效期设置得比较长，比如上面的csdn。
代理的基本原理
我们在做爬虫的过程中经常会遇到这样的情况，最初爬虫正在正常运行，正常抓取数据，然会可能会出现403Forbidden，打开网页一看，“您的IP访问频率太高”。出现这样的原因是网站采取了一些反爬虫措施。比如，服务器会检测某个IP在单位时间内的请求次数，如果超过了这个阈值，就会直接拒绝服务，返回一些错误信息，这种情况被称为封IP。
既然服务器检测的是某个IP单位时间的请求次数，那么借助某种方式来伪装我们的IP，让服务器识别不出是由我们本机发起的请求，就可以防止IP被封。一种有效的方式就是代理。
基本原理
代理实际上指的就是代理服务器，英文proxy server，它的功能是代理网络用户去取得网络信息。
求给Web服务器，Web服务器把响应传回给我们。如果设置了代理服务器，实际上就是在本机和服务器之间搭建了一个桥，此时本机不是直接向Web服务器发起请求，模式向代理服务器发出请求，请求会发送给代理服务器，然后由代理服务器再发送给Web服务器，然后由代理服务器再把Web服务器返回的响应转发给本机。这样我们可以正常访问网页，过程中Web服务器识别出这真实IP不再是我们本机的IP了，就成功实现了IP伪装，就是代理的基本原理。
代理的作用
- 突破自身IP访问限制，访问一些平时不能访问的站点。
- 访问一些单位或团体内部资源：比如使用教育网内地址免费代理服务器，就可以用于对教育网开放的各类FTP下载上传，以及各类教育资源查询共享服务。
- 提高访问速度：通常代理服务器都设置一个较大的硬盘缓冲区，当有外界信息通过时，同时保存在缓冲区中，当其他用户再访问相同信息时，则由缓冲区中直接取出信息，提高访问速度。
- 隐藏真实IP：上网者也可以通过这种方法隐藏自己的IP，免受攻击。对于爬虫来说，我们用代理就是为了隐藏自身IP，防止自身的IP被封锁。
爬虫代理
对于爬虫来说，由于爬虫爬取速度过快，在爬取过程中可能遇到了一个IP访问过于频繁的问题，此时网站就会让我们让我们输入验证码或者直接封锁IP，这样一来给爬取带来极大的不便。
使用隐藏代理的真实IP，让服务器误以为是代理服务器在请求自己。这样在爬取过程中通过不断更换代理，就不会被成功，可以达到很好的爬取效果。
代理分类
1.根据协议区分
- FTP代理服务器：主要用于访问FTP服务器，一般有上传、下载以及缓存功能，端口号一般为21、2121等。
- HTTP代理服务器：主要用于访问网页，一般有内容过滤和缓存功能，端口一般为80、8080、3128等。
- SSL/TLS代理：主要用于访问加密的网站，一般有SSL或TLS加密功能（最高支持128位加密强度），端口一般为443.
- RTSP代理：主要用于访问Real流媒体服务器，一般有缓存功能，端口一般为554.
- Telnet代理：主要用于telnet远程控制（黑客入侵计算机时常用于隐藏身份），端口一般为23.
- POP3/SMTP：主要用于POP3/SMTP方式收发邮件，一般有缓存功能，端口一般为110/25.
- SOCKS代理：只是单纯传递数据包，不关心具体协议和用法，所以速度快很多，一般有缓存功能，端口为1080.SOCKS代理协议又分为SOCKS4和SOCKS5，前者只支持TCP，而后者支持TCP和UDP，还支持各种身份验证机制、服务器域名解析等。
2.根据匿名程度区分 - 高度匿名代理：会将数据包原封不动地转发，在服务端看来就好像真的是一个普通客户端在访问，而记录的IP是代理服务器的IP。
- 普通匿名代理：会在数据包上做一些改动，服务端上有可能发现这是个代理服务器，也有一定几率追查到客户端的真是IP。代理服务器通常会加入的HTTP头有HTTP_VIA和HTTP_X_FORWARDED_FOR。
- 透明代理：不但改了数据包，还会告诉服务器客户端真实的IP。除了能用缓存技术提高浏览速度，能用内容过滤提高安全性之外，并无其他显著作用。最常见的例子就是内网防火墙。
- 间谍代理：指组织或个人创建的用于记录用户传输的数据，然后进行研究、监控等目的的代理服务器。
常见的代理设置
- 使用网上的免费代理：最好使用高匿代理，另外可用的代理不多，需要在使用前筛选一下可用代理，也可以进一步维护一个代理池。
- 使用付费代理服务：互联网上存在许多代理商，可以付费使用，质量比免费代理好很多。
- ASDL拨号：拨一次号换一次IP，稳定性极高，也是一种比较有效的解决方案。