python3 urlib 爬虫实践｜Python技能树测评

背景

网络爬虫，是一种获取网页并提取和保存信息的程序或者脚本，其模拟浏览器打开网页，获取网页中我们想要的数据。
为什么是urllib
爬虫的第一个步骤是获取网页，urllib库就是用来实现这个功能：向服务器发送请求，得到服务器响应，获取网页的内容。

urlib介绍

urllib 是python 3提供的标准库 包含以下几个模块：

【1】requset：HTTP请求模块。

【2】error：异常处理模块。

【3】parse：工具模块，提供许多URL处理方法，如拆分、解析、合并等。

【4】robotparser：识别网站的robots.txt文件，判断哪些网站可以爬，哪些网站不可以爬。

urllib.request 可以模拟浏览器的一个请求发起过程。

语法如下：

    urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None,
    
    capath=None, cadefault=False, context=None)

url：url 地址。

data：发送到服务器的其他数据对象，默认为 None。

timeout：设置访问超时时间。

cafile 和 capath：cafile 为 CA 证书， capath 为 CA 证书的路径，使用 HTTPS 需要用到。

cadefault：已经被弃用。

context：ssl.SSLContext类型，用来指定 SSL 设置。

添加header的意义：

有些网页为了防止别人恶意采集其信息所以进行了一些反爬虫的设置。 设置一些headers，可以模拟成浏览器访问这些网站。

以下是提供的可成功运行的程序

import urllib.request
def get_html(url, headers=None):
    req = urllib.request.Request(url)
    for key in headers:
        req.add_header(key, headers[key])
    response = urllib.request.urlopen(url)
    buff = response.read()
    html = buff.decode("utf8")
    with open("test.htm", "w+b") as fp :
        fp.write(html)  # 写入数据
        fp.close()  # 关闭文件
	#return html
def test():
	headers = {
     
		"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36"
	}
	url = "http://www.baidu.com"
	html = get_html(url, headers)
	print(html)
if __name__ == '__main__':
	test()

运行结果如下：