Python爬虫|Python爬虫入门：请求

这次我们入门一下爬虫的请求模块。本篇不会深入地讲请求相关的知识，主要关注在爬虫部分的相关知识，点到为止。

 

一 、HTTP协议

 

我们在第一篇爬虫教程（

 

知乎专栏

）讲到了HTTP协议这个东西。讲HTTP协议之前，我们要先讲讲我们平时浏览的网页是怎么来的。

 

最简单的模型是这样的：浏览器（客户端）告诉服务器说，我想请求一个网页。服务器收到消息说，好的给你。然后浏览器（客户端）收到网页，并且渲染解析成我们看到的网页。这个部分就涉及到消息怎么传送。事实上从最底层的物理层到最顶层的应用层是有很多协议的。我们只讨论最上面的应用层。最常用的应用层就是HTTP协议。

 

所谓HTTP协议，中文名是超文本传输协议。这是一种可靠的可以把各种各样格式的文件在互联网上传输的协议。事实上HTTP协议总共有七步，这次我们先讲一下主要的过程。HTTP协议的传输主要通过HTTP报文实现的：

 

1. 客户端（比如浏览器） ：发送请求报文到服务器

 

2. 服务器：接收请求报文并处理

 

3. 服务器：发送响应报文给客户端

 

4. 客户端：处理接收到的内容。

 

这就是一个比较粗略的流程。我们先不讨论报文，在后面深入讲解反爬技巧的时候我们再讨论怎么在报文上下功夫。

 

萌萌哒的浏览器宝宝想发送请求的时候，就必须要知道服务器的名字。比如，我们需要使用bing搜索，我们就需要bing的名字：

 

微软必应搜索 - 全球搜索，有问必应 (Bing)

。这个名字就是URL。（至于里面详细的过程我们也先跳过。）那么，在发送请求的时候，就需要知道URL。关于URL的语法，我们也先不深入讨论，在后面我们升级单页爬虫的时候再详细说。

 

另外，客户端请求的方法也是不一样的。比如，打开bing的首页的时候，是什么都不发送的。但是，你登陆知乎的时候，是需要输入账号密码的。所以这就有两种方法：一种是客户端不发送数据，一种是客户端发送数据，然后接收响应报文。前者就是get方法，后者就是post方法。这是HTTP协议最常用的两种方法。（其他方法我们先忽略不计，在实际上的使用中相对比较少。）

 

那么怎么判断这个过程是不是成功呢？响应报文的状态码会告诉你。大家最熟悉的就是404了。大家先记住开头的一位数字就好：2开头的是正常，3开头的是重定向（定向到另外一个店铺），4开头的是客户端异常，5开头的是服务器异常。

 

到这里做个小结：HTTP协议是一种在互联网上传输文件的协议，主要过程是客户端发送请求报文、服务器接收并发送响应报文、客户端接收；访问某个服务器资源需要知道它的URL；主要的HTTP请求方法有get（客户端不发数据）和post（客户端发数据）

 

二、Requests入门

 

requests的官方主页(

 

Requests: HTTP for Humans

)就写着大大的“HTTP for human beings". requests也确实做的非常好，它把HTTP协议封装的非常好，非常适合爬虫等各种各样的网络编程使用。（所以赶快放弃urllib、urllib2 for Python2 and urllib for Python3 这些标准库吧~）

 

这里我们继续使用Python解释器。我们来顺着前面说的讲讲要怎么实现HTTP协议的过程。事实上高度封装的requests都搞定了：

 

import requests

 

r1 = requests.get('http://cn.bing.com/search?q=requests') #get方法

 

post_data={

'stock':'000001',

'searchkey':'',

'category':'category_ndbg_szsh;',

'pageNum':'1',

'pageSize':'',

'column':'szse_main',

'tabName':'fulltext',

'sortName':'',

'sortType':'',

'limit':'',

'seDate':''

}

 

r2 = requests.post('http://www.cninfo.com.cn/cninfo-new/announcement/query',data=post_data) #post方法

get方法和post方法的使用如上。这里的返回值是一个对象，这个对象包括了各种各样的属性和方法，我们取几个对我们最重要的：

 

r1.status_code #状态码，正常是200

r1.encoding #文件编码，比如'utf-8'

r1.content #文件全文

 

r1.json() #把请求回来的json数据转成Python字典并返回

这里特别说明一下，如果需要下载原始文件，比如下面这个例子的PDF文件，那么最好加一个参数：

 

r3 = requests.get('http://www.cninfo.com.cn/finalpage/2015-03-13/1200694563.PDF',stream = True) #请求

 

r3.raw.read() #读取文件（最好在括号里面加一下个数，只读前面几个，不然……可以试试看哈哈哈哈）

最后，我们来写一个完整的请求函数，以后我们再在这个基础上不断升级：

 

def getHTML(url):

    r = requests.get(url)

    return r.content

 

if __name__=="__main__":

    url = 'https://zhuanlan.zhihu.com/xmucpp'

    html = getHTML(url)

    print(html)

 

完整到只有两行？这充分显示了requests库对HTTP协议封装的到位。

 

当然，还有很多很多没有讲到的。这些后续都会在爬虫教程中慢慢渗透，之后会有更系统的介绍-