python爬虫——requests模块（嵩天慕课爬虫学习笔记）
导入 import requests
下面是一个简单的例子
url="http://www.baidu.com" #设置链接网址
r=requests.get(url) #获取网页
r.status_code #检查状态，200为成功，其它均为失败
r.encoding='utf-8' #设置编码格式
r.text #输出网页源代码Requests库的两个对象——Response与Request
Response包含了爬虫返回的对象
属性：
r.status_code 返回状态，200表示成功
r.text 返回内容的字符串形式
r.encoding 从HTTP header中检测响应内容的编码形式(此属性影响r.text输出的格式)
r.apparent_encoding 从内容中分析响应内容的编码格式
r.content 响应内容的二进制形式
一般使用r.encoding=r.apparent_encoding将内容编码兼容中文
HTTP协议
http(Hypertext Transfer Protocol)超文本传输协议，是一个基于“请求与响应”模式(客户端请求服务端响应)的、无状态(第一次请求与第二次无关系)的应用层协议(应用层:HTTP/FTP/SMTP/DNS；运输层:TCP/UDP；网络层:IP)
url格式http://host[:port][path] url是通过HTTP协议存取资源的路径
host:合法域名或IP地址
port:端口号，缺省为80
path:请求资源路径
HTTP协议对资源的操作
GET 请求URL位置的资源
HEAD 请求URL位置资源的响应信息报告，即头部信息
POST 请求URL位置资源后附加新的数据
PUT 请求在URL位置存储资源，覆盖原资源
PATCH 请求局部更新URL位置的资源
DELETE 删除URL位置存储的资源
Requests库的七个方法
requests.request() 构造一个请求，下面6个方法都是利用此方法封装
requests.get() 获取HTML网页主要方法，对应于HTTP的GET
requests.head() 获取HTML网页头信息，对应于HTTP的HEAD
requests.post() 向HTML网页提交POST请求，对应于HTTP的POST
requests.put() 向HTML网页提交PUT请求，对应于HTTP的PUT
requests.patch() 向HTML网页提交局部修改请求，对应HTTP的PATCH
requests.delete() 向HTML网页提交删除请求，对应HTTP的DELETE
requests.request(method,url,**kwargs)
method:请求方式，对应get/head/put/post/patch/detele/options
url:页面链接
**kwargs:13个访问控制参数
13个访问控制参数(可选的,即传入字典形式的一部分，具体可查双星参数的使用形式)
url='http://python123.io/ws'
kv={'key1':'value','key2':'value2'}
#param键,字典或字节序列
r=requests.request('GET',url,params=kv)
#r.url为 http://python123.io/ws?key1=value&key2=value2
#data键,字典、字节序列或文件对象,也可传字符串
r=requests.request('POST',url,data=kv)
#json键，json数据格式
r=requests.request('POST',url,json=kv)
#headers键,字典，伪装成浏览器
hd={'user-agent':'chrome/10'}
r=requests.request('POST',url,headers=hd)
#files键，字典类型，传输文件
fs={'file':open('data.xls','rb')}
r=requests.request('POST',url,files=fs)
#timeout键，设置超时时间，秒为单位
r=requests.request("GET',url,timeout=10)
#proxies键，字典类型，设置访问服务器，增加登录认证
pxs={'http': 'http://user:[email protected]:1234
'https':'https://10.10.10.1:4321}
r=requests.request("GET',url,proxies=pxs)
'''
cookies:字典或cookieJar,Request中的cookie
auth:元组，支持HTTP认证功能
allow_redirects:True/False,默认为True，重定向开关
stream:True/False，默认为True,获取内容立即下载开关
verify:True/False,默认为True,认证SSL证书开关
cert:本地SSL证书路径
'''requests.get(url,params=None,**kwargs)
url:获取页面的链接
params:字典或字节流格式，可选
**kwargs:控制访问参数12个，除了已内置的params
相当于request('get',url,params=params,**kwargs)
requests.head(url,**kwargs)
**kwargs：13个控制访问参数
requests.post(url,data=None,json=None,**kwargs)
**kwargs：11个控制访问参数，除了内置data与json
requests.put(url,data=None,**kwargs)
**kwargs：12个控制访问参数，除了内置data
requests.patch(url,data=None,**kwargs)
**kwargs：12个控制访问参数，除了内置data
requests.delete(url,**kwargs)
**kwargs：13个控制访问参数
Requests库的异常
requests.ConnectionError 网络连接异常
requests.HTTPError HTTP层面的错误异常
requests.URLRequired URL缺失的异常
requests.TooManyRedirects 超过最大重定向次数
requests.ConnectTimeout 连接远程服务器超时异常
requests.Timeout 请求URL超时
其它
利用r.request.headers查看r的user-agent