Python爬虫十六式 - 第三式：Requests的用法

Requests: 让 HTTP 服务人类

学习一时爽，一直学习一直爽

  Hello，大家好，我是Connor，一个从无到有的技术小白。今天我们继续来说我们的 Python 爬虫，上一次我们说到了 urllib 与 urllib3 ，不知道大家看了以后有何感想，今天我们来继续聊聊 Python爬虫中的另一个常用库——requests，相信你今天看了这篇文章以后一定有想要揍我的冲动。

1.request 的简介

  上一篇文章介绍了Python的网络请求库 urllib 和 urllib3 的使用方法，那么，作为同样是网络请求库的 Requests ，相较于 urllib 与 urllib3，它有哪些优势呢？

Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。
警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。
                                                               ——requests官方文档

  Emmn… 官方吐槽最为致命，从requests的话中，你就可以看得出它是多么的伟大了。

  requests 还是少有的被官方推荐的库，在 urllib.request 的文档中，有这样的一句话来推荐 requests :

The Requests packageis recommended for a higher-level HTTP client interface.

  urllib 做为Python的标准库，因为历史原因，使用的方式可以说是非常的麻烦而复杂的，而且官方文档也十分的简陋，常常需要去查看源码。与之相反的是，Requests的使用方式非常的简单、直观、人性化，让程序员的精力完全从库的使用中解放出来。

  吹牛皮吹了这么久，那么requests库究竟可以强大到什么地方呢？Twitter、Spotify、Microsoft、Amazon、Lyft、BuzzFeed、Reddit、NASA、Amazon、Google、Twilio、Mozilla、Heroku、PayPal、NPR、Obama for America、Transifex、Native Instruments、Washington Post、Twitter、SoundCloud、Kippt、Readability、以及若干不愿公开身份的联邦政府机构都在内部使用。

  怎么样，是不是有了一种想要打我的冲动了？这么好的库居然不早点拿出来说，藏着掖着的…其实 requests 是非常少有的配备有官方中文文档的第三方库，如果有需要的话你也可以去看看他们的官方文档 点我走起>>>

---

2.requests 的使用

  百度五分钟解决问题，群里吹牛逼俩小时，哈哈哈，貌似今天你百度也要跟着吹牛两小时了，下面我们说点正经了，看看requests到底应该怎么使用吧：

2.1 requests 的简单使用

  如果你想使用request访问一个页面的话，那么你可以直接这样：

In [1]: import requests
    
In [2]: resp = requests.get('https://www.baidu.com')

In [3]: resp.status_code
Out[3]: 200

In [4]: resp.encoding
Out[4]: 'ISO-8859-1'

In [5]: resp.headers['Date']
Out[5]: 'Mon， 07 Jan 2019 07:30:15 GMT'
    

  可以看到，无论是发起请求还是响应处理，都是非常直观明了的。requests目前可以满足所有的请求需求，所以相较 urllib 与 urllib3 而言，大家还是更加喜欢使用 requests 库来发起访问。

---

2.2 requests 的安装

  requests 的安装方式与所有的第三方库的安装方式都是相同的，你可以直接用 pip 进行安装

pip install requests

---

2.3 requests 的使用

   requests的请求不再像urllib一样需要去构造各种Request、opener和handler，使用requests构造的方法，并在其中传入需要的参数即可。

2.3.1 发起请求

  在 reqeuest 模块中，每一种method方法都有对应的封装好的函数供你使用，比如说，进行GET请求的时候，你可以直接使用 get() 方法：

In [1]: import requests

In [2]: resp = requests.get('https://www.baidu.com')

  而当你需要进行POST请求的时候，你可以直接使用封装好了的 post() 方法来进行访问：

In [3]: resp = requests.post('https://www.baidu.com'， 
                             data = {'hello': 'world'})

   其它的请求方式也都有相对应的请求方法来进行请求，如下：

In [4]: resp = requests.put('http://httpbin.org/put', data = {'key':'value'})
In [5]: resp = requests.delete('http://httpbin.org/delete')
In [6]: resp = requests.head('http://httpbin.org/get')
In [7]: resp = requests.options('http://httpbin.org/get')

  虽然上述的几种方法并不常用，但是 requests 官方依旧很人性化的将它们都封装了进去。

---

2.3.2 传递 URL 参数

  传递URL参数的时候再也不用使用 urllib 中的方法来将URL拼接起来了，它和 urllib3 的方式一致，直接将要拼接的 URL 构造成字典，传递给 params参数即可，和 urllib3 中的 request 方法中的 field 属性一致：

In [1]: import requests

In [2]: params = {'searchtype': '1'， 'bookname': 'Detroit'}

In [3]: resp = requests.get('https://httpbin.org/get', params=params)

In [4]: resp.url
Out[4]: 'https://httpbin.org/get?searchtype=1&bookname=Detroit'

  可以清晰的看到，request 自动帮我们把 params 参数拼接到了一起。当然，有的时候我们也会遇到同名不同值的参数，但是python语法中并不支持键名的重复，这个时候我们可以把属性名相同的参数变成一个列表，request会自动的帮我们把它们拼接到一起：

In [1]: import requests

In [2]: params = {'name': 'Connor', 'others': ['abc', 'def']}

In [3]: resp = requests.get('https://www.httpbin.org/get', params=params)

In [4]: resp.url
Out[4]: 'https://www.httpbin.org/get?name=Connor&others=abc&others=def'

---

2.3.3 自定义headers

  毫无疑问，requests 也能够设置 headers 参数，这是章口就莱的事，下面我们来看看如何设置 headers ：

import requests
datas = {'name': 'Connor', 'age': '22', 'height': '166'}
headers = {'User-Agent': 'ABCDE'}
resp = requests.post('https://www.httpbin.org/post', headers=headers, data=datas)
print(resp.json()['headers'])

运行之后的结果如下：

{'Accept': '*/*', 'Accept-Encoding': 'gzip， deflate', 'Connection': 'close', 'Content-Length': '29', 'Content-Type': 'application/x-www-form-urlencoded', 'Host': 'www.httpbin.org', 'User-Agent': 'ABCDE'}

  可以明显的看到，我们的 User-Agent 属性已经变成了之前设定的 ABCDE，还是非常简单的

---

2.3.4 自定义Cookies

  reqeusts 还可以帮我们构建cookie，我们不用再创建CookieJar对象了，直接将你的 Cookie传递给Cookies参数即可：

In [1]: import requests

In [2]: url = 'https://www.httpbin.org/cookies'

In [3]: cook = {'leijun': 'Are you OK?'}

In [4]: resp = requests.get(url, cookies=cook)

In [5]: resp.text
Out[5]: '{\n  "cookies": {\n    "leijun": "Are you OK?"\n  }\n}\n'

---

2.3.5 设置代理

  requests 连cookie都帮我们构建了，当然也少不了代理的构建，当我们需要使用代理的时候需要把构造的字典传递给 proxies 参数即可

import requests
url = 'https://www.httpbin.org/ip'
datas = {'name': 'Connor', 'age': '22', 'height': '166'}
headers = {'User-Agent': 'ABCDE'}
proxy = {'http': 'http://110.52.235.90:9999', 'https': 'https://110.52.235.90:9999'}
resp1 = requests.get(url)
resp2 = requests.get(url， proxies=proxy)
print(resp1.text， resp2.text)

运行之后的结果如下：

{"origin": "221.192.178.130"}
{"origin": "110.52.235.90"}

---

2.3.6 重定向

  再网络请求中，我们常常会遇到状态码是3开头的重定向问题，在 requests 中默认是开启重定向的，即当我们遇到重定向的时候，reqeusts 会自动帮我们继续访问，你也可以手动关闭重定向：

In [1]: import requests

In [2]: url = 'http://www.jianshu.com'

In [3]: resp = requests.get(url, allow_redirects=False)

In [4]: resp.status_code
Out[4]: 301

---

2.3.7 证书验证

  有些时候，当我们使用了抓包工具的时候，由于抓包工具提供的证书不是受信任的数字证书颁发机构颁发的，所以会导致证书验证失败，这时我们应该关闭证书验证。

  在请求的时候，我们可以关闭证书验证，只需要将 verify 属性设置为 False 即可：

In [1]: import requests

In [2]: resp = requests.get('https://www.baidu.com', verify=False)
d:\software\python\python\lib\site-packages\urllib3\connectionpool.py:847: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
  InsecureRequestWarning)

  这个时候你会发现，关闭验证后会有一个烦人的847警告，你可以使用以下方式来关闭警告：

from requests.packages.urllib3.exceptions import InsecureRequestWarning
# 禁用安全请求警告
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

---

2.3.8 设置超时

  当我们访问一个网站的时候，如果访问时间太久，或者响应时间太长，可能对我们的效率有很大的影响，这个时候我们可以设置超时时间，放弃一些数据来提升爬虫的效率。你只需要为其设置timeout 参数即可：

In [1]: import requests
    
In [2]: requests.get('http://github.com', timeout=0.001)
Traceback (most recent call last):
  File "", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)

---

2.4 requests的响应

  通过 requests 发起请求得到的对象是 Resopnse 对象，通过这个对象我们可以方便的获取响应的内容。

2.4.1 响应内容

  在上一式我们讲述 urllib 与 urllib3 的时候，我们获取到的内容是二进制格式的，这个时候需要我们自己手动的 decode() 将二进制的bytes数据转换成我们可以读懂的字符串数据。但是在 requests 中，它的 text 属性会主动的通过可能的方式帮我们解码：

In [1]: import requests

In [2]: url = 'https://www.httpbin.org/get'

In [3]: resp = requests.get(url)

In [4]: resp.text
Out[4]: '{\n  "args": {}, \n  "headers": {\n    "Accept": "*/*", \n    "Accept-Encoding": "gzip, deflate", \n    "Connection": "close", \n    "Host": "www.httpbin.org", \n    "User-Agent": "python-requests/2.21.0"\n  }, \n  "origin": "221.192.178.130", \n  "url": "https://www.httpbin.org/get"\n}\n'

  requests 会主动的帮我们进行解码，它会通过响应的报头来猜测网页的编码是什么，然后根据猜测的编码来解码网页的内容。大部分的网页他都能够正确的解码，但也有解码不正确的时候，如果发现解码不正确了，我们就需要自己来手动的指定解码的编码格式：

import requests
url = 'http://www.quanshuwang.com/'
resp = requests.get(url)
resp.encoding = 'GBK'
print(resp.text)

  在这里我给大家推荐一个其他的python自带的库，这个库也是在猜测网页的编码格式，但是这个库的准确率更高一些吧。况且我们每次指定解码格式就要求我们去看网页的编码格式。像新浪微博这样的网站，它在无序可视化的页面上使用的是 GBK 编码格式，在需要可视的页面上的编码格式是 UTF-8，我们不希望每次访问都手动的去更改它的编码格式，这个时候就用下面这种方法：

  这个时候，我们可以使用 chardet 中的 detect 方法：

import requests
import chardet

url = 'https://www.httpbin.org/get'
resp = requests.get(url)
resp.encoding = chardet.detect(resp.content)
print(resp.text)

  如果你需要获得网页的原始二进制数据的时候，那么使用 content 属性即可：

In [1]: import requests

In [2]: url = 'https://www.httpbin.org/get'

In [3]: resp = requests.get(url)
   
In [4]: resp.content
Out[4]: b'{\n  "args": {}, \n  "headers": {\n    "Accept": "*/*", \n    "Accept-Encoding": "gzip, deflate", \n    "Connection": "close", \n    "Host": "www.httpbin.org", \n    "User-Agent": "python-requests/2.21.0"\n  }, \n  "origin": "221.192.178.130", \n  "url": "https://www.httpbin.org/get"\n}\n'

  如果我们访问之后获得的数据是JSON格式的，那么我们可以使用json()方法，直接获取转换成字典格式的数据：

In [1]: import requests

In [2]: url = 'https://www.httpbin.org/get'

In [3]: resp = requests.get(url)
    
In [4]: resp.json()
Out[4]:
{'args': {},
 'headers': {'Accept': '*/*',
  'Accept-Encoding': 'gzip, deflate',
  'Connection': 'close',
  'Host': 'www.httpbin.org',
  'User-Agent': 'python-requests/2.21.0'},
 'origin': '221.192.178.130',
 'url': 'https://www.httpbin.org/get'}

---

2.4.2 状态码

  有时候我们过于频繁的访问一个网址之后，或者某些网站对访问速度有限制的话，那我们应该判断以下响应的状态码，然后再判断是否需要数据的提取。你可以通过 status_code 属性来获取响应的状态码：

In [1]: import requests

In [2]: url = 'https://www.httpbin.org/get'

In [3]: resp = requests.get(url)
    
In [4]: resp.status_code
Out[4]: 200

---

2.4.3 响应报头

  当我们进行了访问之后，如果你想查看该网页的响应报头，那么你可以通过 headers 属性来查看你的响应报头：

In [1]: import requests

In [2]: url = 'https://www.httpbin.org/get'

In [3]: resp = requests.get(url)
    
In [4]: resp.headers
Out[4]: {'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Date': 'Mon, 07 Jan 2019 11:36:04 GMT', 'Content-Type': 'application/json', 'Content-Length': '277', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true', 'Via': '1.1 vegur'}

---

2.4.4 服务器返回的cookies

  你可以通过响应对象的 cookies 属性来获取服务器返回的 cookies ：

In [1]: import requests

In [2]: url = 'https://www.httpbin.org/get'

In [3]: resp = requests.get(url)
    
In [4]: resp.cookies
Out[4]: <RequestsCookieJar[]>

  返回的cookies是一个CookieJar对象，如果你想使用这个cookie，你还是需要构建CookieJar对象。cookies 在后续的内容里我会专门抽出一节课来讲这个的，这里我们掠过，只需要知道通过 cookie 属性可以获取从网页上访问的 cookies 即可。

---

2.4.5 url

  你也可以通过 url 属性来查看响应的url，你可以通过这种方式来判断网页是否进行了重定向等各类操作：

In [1]: import requests

In [2]: url = 'http://www.jianshu.com'

In [3]: resp = requests.get(url)

In [4]: resp.url
Out[4]: 'https://www.jianshu.com'

---

2.5 Session对象

2.5.1 Session 的简单使用

  在 requests 中，实现了 Session 会话功能，当我们使用 Session 的时候，能够像浏览器一样，在没有关闭浏览器的时候，保持访问的状态，这个功能常常用于登陆之后，可以避免我们一次又一次的传递 cookies。session 其实非常的简单易用，它和 requests 对象几乎没有任何的差别，requests 的常用方法在 session 这里依旧适用。下面我们举一个简单的例子：

import requests

url = 'https://www.httpbin.org/cookies'
session = requests.session()
resp = sesssion.get('https://www.httpbin.org/get')
print(resp.text)

  运行结果如下：

{"args": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Connection": "close", "Cookie": "eare=https://www.httpbin.org", "Host": "www.httpbin.org", "User-Agent": "python-requests/2.20.0"}, "origin": "221.192.178.173", "url": "https://www.httpbin.org/get"}

  从上面的运行结果中我们可以看到，session 操作起来还是非常容易上手的，它的方法和requests 的用法几乎是完全一致的。当然 session 也有自己更为独有的功能，下面我们一起来看看它还有哪些其它的功能：

---

2.5.2 updata方法

  既然之前我们说 session 是一个可以大大提高效率的工具，可以保持一些数据，不用频繁的重复传参，那我们来试试看：

import requests

url = 'https://www.httpbin.org/cookies'
session = requests.session()
cook = {'eare': 'https://www.httpbin.org'}
resp = session.get(url, cookies=cook)
print(resp.text)
resp = session.get('https://www.httpbin.org/get')
print(resp.text)

  运行后的结果如下：

{"cookies": {"eare": "https://www.httpbin.org"}}

{"args": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Connection": "close", "Host": "www.httpbin.org", "User-Agent": "python-requests/2.20.0"}, "origin": "221.192.178.173", "url":"https://www.httpbin.org/get"}

  通过上面的结果我们会发现，第二次访问的时候并没有维持第一次访问时设置的 session 啊，这是为什么呢？难道是session的 doman 有问题？不是的，通过单次访问传参的方式来添加参数是不会对下一次访问起作用的，这个时候我们需要使用一个方法 session.args.updata() ：

import requests

url = 'https://www.httpbin.org/cookies'
session = requests.session()
cook = {'eare': 'https://www.httpbin.org'}
session.cookies.update(cook)
resp = session.get(url)
print(resp.text)
resp = session.get('https://www.httpbin.org/get')
print(resp.text)

  这次我们再来看运行结果：

{"cookies": {"eare": "https://www.httpbin.org"}}

{"args": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Connection": "close", "Cookie": "eare=https://www.httpbin.org", "Host": "www.httpbin.org", "User-Agent": "python-requests/2.20.0"}, "origin": "221.192.178.173", "url": "https://www.httpbin.org/get"}

  这一次我们明显的发现了第二次访问的时候带上了第一次设置的 cookie 参数，这样设置的话我们之后的每次访问都无需再次传参了。当然，前提是在同一个域名下的访问。关于 cookie 的作用域的问题，我在之前的文章：Python 爬虫十六式 - 第一式：HTTP协议 >>> 中已经写到过了,如果看不懂的话请参照该文章。

  在上面的内容中，有一点尤为需要注意： session.args.updata() 并不指实际的方法，这只是一类参数的统称，个人的命名习惯，如有错误，欢迎指出！ session.args.updata（）包括如下的几种参数：

名称	作用
headers	设置session的请求头参数
cookies	设置session的cookies
params	设置session的url拼接参数
proxies	设置session的proxy代理

---

2.5.3 Session.verify

  session 当然也为我们提供了批量管理验证的方法，这与 requests 中的管理方式几乎相同，但和 session 的其它参数的管理相比又有所不同。session.verify 是一个属性，它是一个 Boolean 型的变量，你只需要将它设置为 False 即可关闭 session 对象的所有证书验证：

import requests

url = 'https://www.httpbin.org/user-agent'
session = requests.session()
head = {'User-Agent': 'ABCDE'}
session.verify = False
session.headers.update(head)
resp = session.get(url)
print(resp.text)

  运行结果如下：

py:847: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
  InsecureRequestWarning)
{"user-agent": "ABCDE"}

  嗯，又看到了烦人的 847报错，想要关闭它的话查看本文第2.3.7节证书验证，里面有如何关闭证书验证警告的方法，点我直达

---

  好啦，到这里我们就说完 requests 的使用了，不知道你学到了多少东西，但是依旧希望这些东西对你有帮助，最后还是那句话送给大家：

学习一时爽， 一直学习一直爽！

  我是一个从无到有的技术小白，Connor，我们下期再见！

系列文章连接：

Python 爬虫十六式 - 第一式：HTTP协议 >>>
Python 爬虫十六式 - 第二式：urllib 与 urllib3 >>>
Python 爬虫十六式 - 第四式: 使用Xpath提取网页内容>>>
Python 爬虫十六式 - 第五式：BeautifulSoup-美味的汤 >>>
Python 爬虫十六式 - 第六式：JQuery的假兄弟-pyquery >>>
Python 爬虫十六式 - 第七式：正则的艺术 >>>
Python 爬虫十六式 - 第八式：实例解析 - 全书网 >>>