2018-03-02 爬虫（二）之Requests

requests 是爬虫常用的包
本文主要参考官方文档 http://docs.python-requests.org/zh_CN/latest/user/quickstart.html
先要安装

pip3 install requests

然后来看看requests的用法

使用requests 发送网络请求
获取网页，一般使用get 也可以通过检查看看获取方式

get.png

从这里看到method是get

获取网页

这只是最简单的一步。

这里只是知道了通过requests,我们可以方便地实现http的所有请求。

例如 post put delete head options

可以通过.text来看响应内容

text.png

也可以看url

url.png

可以设置字典来传递参数

params.png

查看编码,requests可以自动推测编码

encoding.png

当然也可以自己设计修改

对于不是文本的请求，比如一个图片，可以使用.content来看

content.png

可以解码JSON的响应内容

req.json()

这里我还没用到

显示原始内容

raw.png

为了使得访问更加真实，设置一个请求的头

只要使用谷歌chrome ，右击检查就可以了知道用什么头了

header.png

加header.png

设置超时时间

timeout.png

简单的现学这么多，边学边用