Python第三方库的使用

一、Requests库的使用

Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。

(1)安装、在cmd下执行：pip install requests
 

(2)TP协议对资源的操作

    GET     获取URL位置的资源
    HEAD     获取URL位置资源的头部信息
    POST     向URL位置的资源后附加新的数据
    PUT     覆盖URL位置的资源
    PATCH     局部更新URL位置的资源

    DELETE     删除URL位置的资源

(3)requests库中的方法

    requests.request()    构造请求，支持下面各方法的基础
    requests.get()        获取HTML网页的主要方法，对应于HTTP的GET
    requests.head()        获取HTML网页的头信息的方法
    requests.post()        向HTML网页提交POST请求的方法，对应HTTP的POST
    requests.put()        向HTML提交PUT请求，对应HTTP的PUT
    requests.patch()    对应于HTTP的PATCH
    requests.delete()    向HTTP页面提交删除请求，对应HTTP的DELETE
 

(4)方法的原型及用法

5.1、get方法原型
    requests.get(url,params=None,**kwargs)

5.2、params        url中的额外参数，字典或字节流格式，可选
    **kwargs    12个控制访问的参数，如headers等

5.3、post方法原型
    requests.post(url,data=None,json=None,**kwargs)

    payload={"key":"value"}
    r=requests.post(url,data=payload)

5.4、put,patch与post类似

5.5、delete方法原型
    request.deete(url,**kwargs)

    requests.request(method,url,**kwargs)
    method         请求方式，get，put，post...

(5)**kwargs(访问控制参数)

5.1、params    字典或字节序列，作为参数增加到url中
如：
    kv={'k1':'v1','k2':'v2'}
    r=requests.request('GET','http://python123.io/ws',params=kv)
    print(r.url)
结果：http://python123.io/ws?k1=v1&k2=v2
5.2、data    字典，字节序或文件对象，作为Request的内容，post请求的参数

5.3、json        JSON格式数据，作为Request的内容

5.4、headers        字典，HTTP定制头
如：
    h={'User-Agent':'...'}
    r=requests.get(url,headers=h)

5.5、cookies        字典或CookieJar，Request中的cookie

5.6、auth        元组，支持HTTP认证功能

5.7、files        字典，传输文件
如：
    fs={'file':open('data.xls','rb')}
    r=requests.request('POST',url,files=fs)

5.8、timeout     设定超时时间，以秒为单位，超时会产生timeout异常
r=requests.request('GET',url,timeout=10)

5.9、proxies        字典，设置访问代理服务器，可以防止逆追踪
如：
    pxs={'http':'http://user:[email protected]:1234','https':'https://10.10.10.1:4321'}
    r=requests.get(url,proxies=pxs)

5.10、allow_redirects        True/False 默认True，重定向开关

5.11stream                True/False 默认True，立即下载开关

5.12、verify                True/False 默认True，认证SSL证书开关

5.13、cert                 本地SSL证书路径
 

(5)Response对象的属性

    r=requests.get()    //r为Response对象

    r.status_code        HTTP请求的返回状态码
    r.text                HTTP响应内容的字符串形式，即url对应的页面内容
    r.encoding            从HTTP header中猜测的响应内容的编码方式
    r.apparent_encoding            从内容中分析出的响应内容的编码方式
    r.content            HTTP响应内容的二进制形式

(6)Requests库的异常

    requests.ConnectionError    网络连接异常，如DNS查询失败、拒绝连接
    requests.HTTPError            HTTP错误异常
    requests.URLRequired        URL缺失异常
    requests.TooManyRedirects    超过最大重定向次数产生的重定向异常
    requests.ConnectTimeout        连接远程服务器超时异常
    requests.Timeout             请求URL超时产生的超时异常

    raise_for_status            如果返回的status_code不是200产生requests.HTTPError

实例一：get方法的使用

import requests
url='https://blog.csdn.net/qq_32261191/article/details/80338091'
#使用try...except捕捉异常
try:
#请求url
    r=requests.get(url)
#请求状态码不是200，则产生异常
    r.raise_for_status()
#设置显示的编码为apparent_encoding检测到的编码格式
    r.encoding=r.apparent_encoding
#输出前1000个字符
    print(r.text[:1000])
except:
    print("ERROR!!!")

 

实例二：修改headers

 

import requests
url='https://blog.csdn.net/qq_32261191/article/details/80338091'
#使用try...except捕捉异常
h={'user-agent':'Mozilla/5.0'}
try:
#请求url
    r=requests.get(url)
#默认请求头
    print(r.request.headers)
    r=requests.get(url,headers=h)
#请求状态码不是200，则产生异常
    r.raise_for_status()
#设置显示的编码为apparent_encoding检测到的编码格式
    r.encoding=r.apparent_encoding
#修改后的请求头
    print(r.request.headers)
except:
    print("ERROR!!!")

 

实例三：GET传入参数

百度搜索ip时URL为：http://www.baidu.com/s?wd=ip

 

 

import requests
url='http://www.baidu.com/s'
#GET传的参数设置
kv={'wd':'ip'}
#使用try...except捕捉异常
try:
#请求url:http://www.baidu.com/s?wd=ip
    r=requests.get(url,params=kv)
#请求状态码不是200，则产生异常
    r.raise_for_status()
#设置显示的编码为apparent_encoding检测到的编码格式
    r.encoding=r.apparent_encoding
#输出请求的url,
    print(r.request.url)
except:
    print("ERROR!!!")

实例四：图片下载

import requests,os
#图片的URL
url="https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1526560867378&di=da4e7dc76d9b54647d1356ba6d3d73ef&imgtype=0&src=http%3A%2F%2Fi2.3conline.com%2Fimages%2Fpiclib%2F201006%2F23%2Fbatch%2F1%2F62615%2F12772647784528c3naeziee.jpg"
#设置存放图片的目录
path="F://Apicts//"
try:
#如果目录不存在，创建目录
    if not os.path.exists(path):
        os.mkdir(path)
#请求url
    r=requests.get(url)
#截取URL中最后一个"="之后的内容，视情况而定
    path=path+url.split('=')[-1]
#创建文件并写入
    with open(path,'wb') as f:
        f.write(r.content)
        f.close()
        print("图片已下载！")
except:

    print("ERROR!!!")

二、Beautiful Soup库的使用

 

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库

(1)安装beautiful soup库，pip install beautifulsoup4

 

 

 

(2)简单的网站克隆实例

 

 

import requests
#BeautifulSoup库简写为bs4，从bs4库中导入BeautifulSoup类
from bs4 import BeautifulSoup
r=requests.get("http://www.baidu.com")
r.encoding=r.apparent_encoding
demo=r.text
#使用html.parser解析器解析得到的html页面
soup=BeautifulSoup(demo,"html.parser")
#输出解析的结果
print(soup.prettify())
demo=soup.prettify()
#创建一个abc.html文件，设置文件编码为目标网页的编码
fn=open("abc.html",'w',encoding=r.encoding)
#写入demo
fn.write(demo)
fn.close()

(3)BeautifulSoup库可以使用的解析器

解析器                    使用方法                        条件
bs4的HTML解析器        BeautifulSoup(mk,'html.parser')        安装bs4
lxml的HTML解析器    BeautifulSoup(mk,'lxml')            安装lxml库
lxml的XML解析器        BeautifulSoup(mk,'xml')                安装lxml库
html5lib的解析器    BeautifulSoup(mk,'html5lib')        安装html5lib

(4)基本元素

Tag                标签，最基本的信息组织单元，用<>和标明开头和结尾
Name            标签的名字，

...

的名字是p，格式：.name
Attributes        标签的属性，字典形式，格式：.attrs
NavigableString    标签非属性字符串，<>...中的...，格式：.string
Comment            标签内字符串的注释部分，一种特殊的Comment类型

接上面的代码，如:
soup.title                        表示获取解析后的页面的