python网络爬虫基础（1）--request库
网络爬虫，也可以叫做网络数据采集，通过多种方式采集网络数据，不仅是通过API交互或者浏览器的方式，而是写一个自动化的程序向网络服务器请求获取数据，一般我们是获得HTML表单或者类似的网页文件，然后对数据进行解析提取需要的信息。
一般来说，网络数据采集，都是通过网络域名获取HTML数据，然后根据目标信息解析数据，存储目标信息，还有可能移动到另一个网页重复这个过程。所以网络爬虫基本上就是这样的过程。
所以我们首先要做的是，怎么把网络文件获取下来。先了解一下使用的python库吧，我们做小型的爬虫用request库就够用了。
requests库
首先需要安装requests库：最简单方便的方法当然是pip:
pip install requests然后在python IDLE上测试一下能否正常导入就可以检测是否安装成功啦
requests库，一个python的HTTP库，request主要有7个方法如下：
| 方法 | 描述 |
|---|---|
| request() | 构造一个请求，支撑其余方法的基础方法 |
| get() | 获取HTML网页的主要方法，对应于HTTP的GET |
| head() | 获取网页的主要方法，对应于HTTP的HEAD方法 |
| post() | 向HTML网页提交POST请求的方法，对应于HTTP的POST |
| put() | 向HTML网页提交PUT请求的方法，对应于HTTP的PUT |
| patch() | 向HTML网页提交局部修改请求的方法，对应于HTTP的PATCH |
| delete() | 向HTML页面提交删除请求，对应于HTTP的DELETE |
相应的HTTP基础知识
HTTP是一个基于“请求与响应”模式的，无状态的应用层协议，采用URL作为定向网络资源的标识。URL是通过HTTP协议存取资源的Internet路径，一个URL通常对应一个数据资源。URL的格式http:host[port][path]，host是合法的Internet主机名、域名等IP地址，port是端口号，缺省时默认端口是80，path是请求资源的路径。
HTTP协议对资源的操作：
| 方法 | 描述 |
|---|---|
| GET | 请求获取URL位置的资源 |
| HEAD | 请求获取URL位子资源的响应消息报告，即获得该资源的头部信息 |
| POST | 请求向URL位置的资源后附加新的数据 |
| PUT | 请求向URL位置存储一个资源，会覆盖原资源 |
| PATCH | 请求局部更新URL位置的资源，即改变该处资源的部分内容 |
| DELETE | 请求删除URL位置存储的资源 |
PUT和PATCH的区别在于，PATCH仅仅只向URL提交局部更新请求，可以节省网络带宽；PUT将所有的字段一并更改，原内容中的一些字段更改的新内容中如果没有就会被删除。
首要的是request方法，其他的方法都是由它引出的
requests.request(method,url,**kwargs)
method:请求方式，对应get/post/put/等7种。url:拟获取页面的URL链接**kwargs:控制访问的参数，共13个，均为可选项
| 参数名 | 作用 |
|---|---|
| params | 字典或者字节序列，作为参数增加到URL中 |
| data | 字典，字节序列或文件对象，作为request中的内容 |
| json | json格式的数据，作为request的内容 |
| headers | 字典，HTTP的定制头 |
| cookies | 字典或cookieJar，request中的cookie |
| auth | 元组，支持HTTP认证功能 |
| files | 字典类型，传输文件 |
| timeout | 设置超时时间，以秒为单位 |
| proxies | 字典类型，设定访问代理服务器，可以增加登录认证 |
| allow_redirects | True/False默认为True重定向开关 |
| stream | True/Flase,默认为True，获取内容即下载开关 |
| verify | True/Flase,默认为True，认证SSL证书开关 |
| cert | 本地SSL证书路径 |
其他方法：
request.get(url,params=None,**kwargs)request.head(url,**kwargs)request.post(url,data=None,json=None,**kwargs)request.put(url,data=None,**kwargs)request.patch(url,data=None,**kwargs)request.delete(url,**kwargs)
最常用get方法来获取页面r=requests.get() get方法会构造一个向服务器请求资源的Request对象，执行之后会返回一个包含服务器资源的Response对象，我们让r指向返回的对象。
Response对象的属性有：
| 属性 | 描述 |
|---|---|
| r.status_code | HTTP请求的返回状态，200表示连接成功，404表示失败 |
| r.text | HTTP响应内容的字符串形式，即URL对应的页面内容 |
| r.encoding | 从HTTP的header中获取的响应内容的编码形式 |
| r.apparent_encoding | 根据文本内容分析响应内容的编码方式 |
| r.content | HTTP响应的二进制形式 |
一般来说，我们常用r.raise_for_status()方法，这个方法自身可以判断r.status_code是否为200，然后我们就可以使用try...except进行异常处理。
我们当然希望每次Requests都能成功的返回正常的Response，但不是每次都会这么幸运的，Request还是有很多异常情况需要处理的。下面的Request异常表就列举了触发的一些异常。
| 异常 | 描述 |
|---|---|
| requests.ConnectionError | 网络连接错误异常，如DNS查询失败，拒绝连接等 |
| requests.HTTPError | HTTP错误异常 |
| requests.URLRequired | URL缺失异常 |
| requests.TooManyRedirects | 超过最大重定向次数，产生重定向异常 |
| requests.ConnectTimeout | 连接远程服务器超时异常 |
| requests.Timeout | 请求URL超时，产生超时异常 |
| r.raise_for_status() | 若状态码不是200，引发HTTPError异常 |
爬虫通用代码框架：
def get_html_text(url):
try:
r = request.get(url,timeout=30)
r.raise_for_status() # 检查状态码是否为200，也就是是否成功获取页面
# 默认coding采用header中的定义，常更该为根据文本判断的编码方式
r.coding = r.apparent_encodeing
# header中不存在charset,则默认编码为ISO-8859-1
# r.text根据r.encoding显示网页内容
return r.text
except:
return "产生异常"
...