北京理工大学-Python网络爬虫与信息提取学习笔记01

request库方法

主要有7个方法

requests.request(method,url,**kwargs)
构造一个请求，支撑以下各方法的基础方法
method：请求方法，对应get/put/post等
r=requests.request(‘GET’,url,**kwargs)
r=requests.request(‘HEAD’,url,**kwargs)
r=requests.request(‘POST’,url,**kwargs)
r=requests.request(‘PUT’,url,**kwargs)
r=requests.request(‘PATCH’,url,**kwargs)
r=requests.request(‘delete’,url,**kwargs)
r=requests.request(‘OPTIONS’,url,**kwargs)

url：拟获取页面的url链接

**kwargs：13个控制访问的参数
params：字典或字节序列，作为参数增加到url中
data：字典、字节序列或文件对象，作为Request的内容
json：JSON格式的数据，作为Request的内容
headers：字典，HTTP定制头
cookies：字典或CookieJar，Request中的cookie
auth：元组，支持HTTP认证功能
files：字典类型，传输文件
timeout：设定超时时间，秒为单位
proxies：字典类型，设定访问代理服务器，可以增加登录认证
allow_redirects：True/False，默认为True，重定向开关
stream：True/False，默认为True，获取内容立即下载开关
verify：True/False，默认为True，认证SSL证书开关
cert：本地SSL证书路径

requests.get(url,params=None,**kwargs)
获得HTML网页的主要方法，对应于HTTP的GET
url：拟获取页面的url链接
params：url中的额外参数，字典或字节流格式，可选
**kwargs：request中除了params的12个控制访问的参数

构造一个向服务器请求资源的Request对象
返回一个包含服务器资源的Response对象
Response对象包含爬虫返回的内容

Response对象的属性
r.status_code HTTP请求的返回状态，200表示连接成功，404表示失败
r.text HTTP相应内容的字符串形式，即，url对应的页面内容
r.encoding 从HTTP header中猜测的响应内容编码方式
如果header中不存在charset，则认为编码为ISO-8859-1（但不能解析中文）
r.apparent_encod 从内容中分析出的响应内容编码方式（备选编码方式），比前者更为准确
r.content HTTP相应内容的二进制形式

requests.head(url,**kwargs)
获得HTML网页头信息的方法，对应于HTTP的HEAD
url：拟获取页面的url链接
**kwargs：13个控制访问的参数

requests.post(url,data=None,json=None,**kwargs)
向HTML网页提交POST请求的方法，对应于HTTP的POST
url：拟提交页面的url链接
data：字典、字节序列或文件对象，作为Request的内容
json：JSON格式的数据，作为Request的内容
**kwargs：11个控制访问的参数

requests.put(url,data=None,**kwargs)
向HTML网页提交PUT请求的方法，对应于HTTP的PUT
url：拟更新页面的url链接
data：字典、字节序列或文件对象，作为Request的内容
**kwargs：12个控制访问的参数

requests.patch(url,data=None,**kwargs)
向HTML网页的提交局部修改请求，对应于HTTP的 PATCH
url：拟更新页面的url链接
data：字典、字节序列或文件对象，作为Request的内容
**kwargs：12个控制访问的参数

requests.delete(url,**kwargs)
向HTML页面提交删除请求，对应于HTTP的DELETE
url：拟删除页面的url链接
**kwargs：13个控制访问的参数

Requests库的异常
requests.ConnectionError() 网络连接错误异常，如dns查询失败、拒绝连接等
requests.HTTPError() HTTP错误异常
requests.URLRequired() URL缺失异常
requests.TooManyRedirects() 超过最大重定向次数，产生重定向异常
requests.ConnectTimeout() 连接远程服务器超时异常
requests.Timeout() 请求URL超市，产生超时异常

r.raise_for_status() 如果不是200，产生异常requests.HTTPError

HTTP协议
HTTP，Hypertext Transfer Protocol，超文本传输协议
HTTP是一个基于“请求与响应”模式的、无状态的应用层协议
HTTP一般采用URL作为定位网络资源的标识
URL格式 http://host.[:port][path]
host：合法的Internet主机域名或IP地址
port：端口号，缺省端口为80
path：请求资源的路径
HTTP URL的理解：URL是通过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源

HTTP协议对资源的操作
GET 请求获取URL位置的资源
HEAD 请求获取URL位置资源的响应信息后，即获得该资源的头部信息
POST 请求向URL位置的资源后附加新的数据
PUT 请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH 请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE 请求删除URL位置存储的资源

HTTP协议方法与Requests库方法功能一致

cest

import requests
r=requests.get("http://www.baidu.com")
print(r.status_code)
#200

#print(type(r))
#print(r.headers)

print(r.text)  #有乱码
#   
 
 
 
 
 
  
 
       
 
 
 
 新闻 hao123 地图 视频 贴吧   更多产品 
 
 
 
 
 
 å
³äºŽç™¾åº¦</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前å¿
读</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

print(r.encoding)
#ISO-8859-1

print(r.apparent_encoding)
#utf-8

r.encoding='utf-8'
print(r.text)  #输出中文字符
#   
 
 
 
 
 
  
 
       
 
 
 
 新闻 hao123 地图 视频 贴吧   更多产品 
 
 
 
 
 
 关于百度 About Baidu 
 
©2017 Baidu 使用百度前必读  意见反馈 京ICP证030173号   
 
 
 
  

kv={
     'key1':'value1','key2':'value1'}
r=requests.request('GET','http://python123.io/ws',params=kv)
print(r.url)
#https://python123.io/ws?key1=value1&key2=value1

通用框架

import requests

def getHTMText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status() #如果状态不是200，引发HTTPError异常
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "产生异常"   #通用方法

if __name__=="__main__":  #注意下划线是敲击两次不是一次_
    url="http://www.baidu.com"
    print(getHTMText(url))
    ur2="www.baidu.com"
    print(getHTMText(ur2))

ps：学习链接 https://www.icourse163.org/learn/BIT-1001870001?tid=1206951268#/learn/announce