爬虫——进阶（一）requests

一：requests概述

requests第三方封装的模块，通过简化请求和响应数据的处理，简化繁琐的开发步骤和处理逻辑，统一不同请求的编码风格以及高效的数据处理特性

二：安装

python2/python3命令行安装
pip install requests
easy_install requests

三：requests的使用

• 通过一个小demo.py来开启requests的简单使用
  import requests
  发送请求，得到服务器返回的响应对象，通过encoding设置响应中数据中的编码
  response = requests.get('https://image.baidu.com/search/acjson?')
response.encoding = 'utf-8'
  通过text打印响应中的文本数据
  print(response.text)

• requests为爬虫开发者提供了八种基本请求方式
  rep = requests.request(method,url,**kw)
  rep = requests.post(url,**kw)
rep = requests.get(url,**kw)
rep = requests.delete(url,**kw)
rep = requests.put(url,**kw)
rep = requests.head(url,**kw)
rep = requests.options(url,**kw)
rep = requests.patch(url,**kw)
  ps:常用一般为post/get请求

• 基本请求方式

import requests#引入需要的模块
rep = requests.post('http://www.baidu.com')#利用post发送请求
print(rep.text)#通过text属性得到响应的数据

• ps:就是这么简单的爬取了网页数据，但是这样就是相当于裸奔在别人家的网站上获得数据，这是就需要我们将自己伪装成浏览器发送请求，可以通过设置请求头完成

import requests
#设置请求头
headers = { 'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Mobile Safari/537.36'}
#设置请求地址
url = 'https://www.taobao.com'
#发送请求
response = requests.get(url, headers=headers)
#打印响应数据
print(response.text)

• ps:简单的伪装成浏览器，穿上衣服去拿东西会不会好点呢？

• 附带普通参数的请求

这个也是很easy的操作：将参数包含在一个字典对象中，将字典对象交给requests的函数即可——话不多说看代码
#引入需要的模块
import requests
#封装参数的字典
data = {'city':'上海'}
#get方式发送请求，包含参数
rep = requests.get(url, params=data)
#post方式发送请求，包含参数
rep = requests.post(url, data=data)
print(rep)

• 传递JSON参数

在请求的过程中，有些url接口需要的参数数据并不是零散的数据，而需要封装在一起的JSON数据，此时可以通过json.dumps()函数将一个字典数据转换成json数据进行传递
import requests#引入需要的模块
import json
#封装参数的字典
data = {'city':'上海'}
#转换参数
json_data = json.dumps(data)
#post方式发送请求，包含参数
rep = requests.post(url,data = json_data)
对json字符串操作
import requests
#封装参数的json字符串
json_data = '{'city':'上海'}'
#post方式发送请求，包含参数
rep = requests.post(url,data = json_data)

• 文件上传操作

requests对象支持文件的数据流式处理，不需要将整个文件都加载到内存中，而是读取一部分传递一部分，将文件指定给requests请求的file参数
注意：文件的上传只能通过post()请求方式执行操作
1.传统文件上传
import requests
f = open('d:/test.txt', 'r')
#包装文件参数
file = {'file':f}
#传递文件
response = requests.post(url, files = file) print(response)
2.流式文件上传
import requests
resopnse = requests.post(url)
with open('d:/test.txt', 'r') as f:
--------f.write(response.text.encode('utf-8'))

• cookie操作

cookie操作是web开发过程常用的一个功能，在爬虫过程中也是非常实用的一个功能，可以用于进行登录状态，浏览记录等很多非常实用的功能
在requests模块中对cookie的操作进行了封装，可以直接通过响应对象的cookie属性进行操作
import requests
response = requests(url)
#获取整个cookie
cookie_data = response.cookies
print（cookie_data）
#根据key获取指定的值
cookie_key = cookie_data['key']
print(cookie_key)

• 请求超时设置

通过timeout参数进行超时时间设置，超出时间连接自动抛出异常
import requests
response = requests.get(url, timeout=1)
异常信息：requests.exceptions.ConnectTimeout

• SSL证书设置

SSL证书设置，可以让爬虫程序类似浏览器一样验证https协议访问的网站，为https请求验证SSL证书
ps:怎么关掉SSL证书呢？
import requests
response = request.get(url, verify = Flase)
print(response.text)

• 代理设置

和之前的urllib2一样，代理的设置是不可避免的一种技术手段
在requests模块中，当然也可以充分考虑代理操作的可行性
通过将代理服务器端口设置在字典中，然后通过proxies参数进行设置
import requests
proxies = {'https':'122.72.32.75:80'}#代理的IP地址和访问端口
response = requests.get('http://www.baidu.com', proxies = proxies)
print(response.text)

未完待续......