Python网络爬虫——urllib库的使用

urllib是python处理url的软件包，包含四个处理url的模块，分别为：

        urllib.request——用于打开url和读取url

        urllib.error——包含urllib.request引发的异常

        urllib.parse——用于解析url

        urllib.robotparse——用于解析robots.txt文件

1、urlib.request模块包含以下功能

urllib.request.urlopen()函数用于实现对目标url的访问

函数原型如下：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

参数解析：

url参数：目标资源在网络中的位置，可以是一个url字符串，也可以是一个urllib.request对象

data参数：用来指明发往服务器请求中的额外参数，data默认是None，此时以GET方式请求，当给出data参数的时候，改为POST发送请求

timeout参数：设置网站访问超时时间

cafile、capath、cadefault参数：用于实现可信任的CA证书的HTTP请求，默认为None

context参数，实现SSL加密传输

返回处理方法解析：

urlopen返回对象提供方法：

read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作

info()：返回HTTPMessage对象，表示远程服务器返回的头信息

getcode()：返回Http状态码。如果是http请求，200请求成功完成;404网址未找到

geturl()：返回请求的url，通常用于确定是否遵循了重定向

注：一般而言使用read()函数后还需要decode()函数,返回的网页内容实际上是没有被解码或的,在read()得到内容后通过指定decode()函数参数,可以使用对应的解码方式。 

其他方法使用方式参考：

https://www.cnblogs.com/ss-py/archive/2018/08/17/9492321.html

2、urlib.error模块包含以下功能

在爬虫的时候发请求的时候，难免会出现错误，如访问不到服务器或者访问被禁止等等。

出错了之后urllib将错误信息封装成了一个模块对象中，这个模块就叫做error模块

分为URLError和HTTPError

URLError是OSError的一个子类

有以下错误的时候错误信息就会被封装在URLError里：

a、无网络

b、有网络但是由于种种原因导致服务器连接失败

而如果能够链接服务器但是服务器返回了错误代码如404、403等等（400）以上，那么所有信息就会被封装在HTTPError里

区别：

URLError封装的错误信息一般是由网络引起的，报错url错误

HTTPError封装的作物信息一般是服务器返回了错误状态码

关系：

URLError是OSError的子类，HTTPError是URLError的子类

error类是在捕获错误信息的时候使用，而且一般我们也需要进行捕获，因为你很难确定访问请求一定不会出现错误

from urllib import request
from urllib import error
 
url = 'http://baiduuuu.com'
 
try:
    res = request.Request(url)
    response = request.urlopen(res)
 
    print(response.read().decode())
 
except error.HTTPError as he:
    print(he)
    # print(he.reason)
 
except error.URLError as ue:
    print(ue)
    # print(ue.reason)
 
except Exception as e:
    print(e)

注意：由于HTTPError是URLError的子类，所以捕获的时候HTTPError要放在URLError的上面

3、urlib.parse模块包含以下功能

url.parse：定义了url的标准接口，实现url的各种抽取

parse模块的使用：url的解析，合并，编码，解码

urlparse()实现URL的识别和分段

url = 'https://book.qidian.com/info/1004608738?wd=123&page=20#Catalog'
"""
url：待解析的url
scheme=''：假如解析的url没有协议,可以设置默认的协议,如果url有协议，设置此参数无效
allow_fragments=True：是否忽略锚点,默认为True表示不忽略,为False表示忽略
"""
result = parse.urlparse(url=url,scheme='http',allow_fragments=True)

print(result)
print(result.scheme)
"""
(scheme='https', netloc='book.qidian.com', path='/info/1004608738', params='', query='wd=123&page=20', fragment='Catalog')
scheme:表示协议
netloc:域名
path:路径
params:参数
query:查询条件，一般都是get请求的url
fragment:锚点，用于直接定位页
面的下拉位置，跳转到网页的指定位置
"""

urlunparse()可以实现URL的构造

url_parmas = ('https', 'book.qidian.com', '/info/1004608738', '', 'wd=123&page=20', 'Catalog')
#components:是一个可迭代对象，长度必须为6
result = parse.urlunparse(url_parmas)
print(result)

"""
https://book.qidian.com/info/1004608738?wd=123&page=20#Catalog
"""

urljoin()传递一个基础链接，根据基础链接可以将某一个不完整的链接拼接为一个完整的链接

base_url = 'https://book.qidian.com/info/1004608738?wd=123&page=20#Catalog'
sub_url = '/info/100861102'

full_url = parse.urljoin(base_url,sub_url)

print(full_url)

urlencode()将字典结构形式的参数序列化为url编码后的字符串（常用来构造get请求和post请求的参数）

parmas = {
    'wd':'123',
    'page':20
}
parmas_str = parse.urlencode(parmas)

print(parmas_str)

"""
page=20&wd=123
"""

parse_qs()将url编码格式的参数反序列化为字典类型
parmas_str = 'page=20&wd=123'
parmas = parse.parse_qs(parmas_str)
print(parmas)

"""
{'page': ['20'], 'wd': ['123']}
"""

quote()可以将中文转换为URL编码格式

word = '中国梦'
url = 'http://www.baidu.com/s?wd='+parse.quote(word)
print(parse.quote(word))
print(url)

"""
%E4%B8%AD%E5%9B%BD%E6%A2%A6
http://www.baidu.com/s?wd=%E4%B8%AD%E5%9B%BD%E6%A2%A6
"""
unquote:可以将URL编码进行解码
url = 'http://www.baidu.com/s?wd=%E4%B8%AD%E5%9B%BD%E6%A2%A6'
print(parse.unquote(url))
"""
http://www.baidu.com/s?wd=中国梦
"""

4、urlib.robotparse模块包含以下功能

利用urllib.robotparse模块可以对网站的Robots协议进行分析

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。robots.txt文件是一个文本文件，放在站点的根目录下

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面

禁止所有爬虫访问任何内容

User-Agent:  *
Disallow:  /

允许所有爬虫访问任何内容

User-Agent:  *
Disallow: 

只允许爬虫访问public/目录

User-agent: *
Disallow: /
Allow: /public/

允许某些爬虫访问某些目录

User-agent:  Baiduspider
Allow:  /article
Allow:  /oshtml
Disallow:  /product/
Disallow:  /

User-Agent:  Googlebot
Allow:  /article
Allow:  /oshtml
Allow:  /product
Allow:  /spu
Allow:  /dianpu
Allow:  /oversea
Allow:  /list
Disallow:  /

User-Agent:  *
Disallow:  /