本系列文档用于对Python爬虫技术进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。
Python 版本是3.7.4
它是 Python 内置的HTTP请求库,也就是说我们不需要额外安装即可使用,它包含四个模块(主要对前三个模块进行学习):
参数说明(仅写了四个最常用的参数)
具体用法
# 导入urllib库
import urllib.request
# 向指定的url发送请求,并返回服务器响应的类文件对象
url = "http://www.baidu.com"
response = urllib.request.urlopen(url=url)
print(type(response))
# 类文件对象支持文件对象的操作方法,如read()方法读取文件全部内容,返回字符串
html = response.read()
# html = response.readline() # 读取一行
# html = response.readlines() # 读取多行,返回列表
# 打印响应结果(byte类型)
print(html)
# 打印响应结果(utf-8类型)
# 二进制和字符串之间的相互转码使用 encode() 和 decode() 函数
# encode() 和 decode() 可带参数,不写默认utf-8,其他不再特别说明
print(html.decode())
# 打印状态码
# print(response.get_code())
print(response.status)
# 获取响应头
print(response.getheaders())
# 获取响应头Server信息
print(response.getheader('Server'))
# 获取响应结果原因
print(response.reason)
# 导入urllib库
import urllib.parse
import urllib.request
# 向指定的url发送请求,并返回
post_url = 'https://fanyi.baidu.com/sug'
# 传入参数
form_data = {
'kw': 'honey'
}
# 格式化参数
form_data = urllib.parse.urlencode(form_data).encode()
response = urllib.request.urlopen(url=post_url, data=form_data)
# 打印服务器响应的类文件对象
print(type(response))
# 类文件对象支持文件对象的操作方法,如read()方法读取文件全部内容,返回字符串
html = response.read()
# 打印响应结果(byte类型)
print(html)
# 打印响应结果(utf-8类型)
print(html.decode())
# 打印状态码
print(response.status)
# print(response.getcode())
# 获取响应头
print(response.getheaders())
# 获取响应头Server信息
print(response.getheader('Server'))
# 获取响应结果原因
print(response.reason)
参数说明
具体用法
# 引入所需要的库
import os
import urllib.request
# 定义回调函数
def call_back(a, b, c):
"""
图片下载回调
:param a: 已经下载的数据块
:param b: 数据块的大小
:param c: 远程文件的大小
:return:
"""
per = 100.0 * a * b / c
if per > 100:
per = 100
print('%.2f%%' % per)
# 定义下下载的地址
url = 'http://www.baidu.com'
# 构造文件保存路径
path = os.path.abspath('.')
file_path = os.path.join(path, 'baidu.html')
# 进行下载
urllib.request.urlretrieve(url, file_path, call_back)
参数说明
具体用法
# 引入所需要的库
import urllib.parse
# 参数数据
data = {
'name': '张三',
'age': 26
}
# 进行编码
ret = urllib.parse.urlencode(data)
print(ret)
参数说明
具体用法
# 引入所需要的库
import urllib.parse
# 参数数据
data = {
'name': '张三',
'age': 26
}
# 进行编码
ret1 = urllib.parse.urlencode(data)
print(ret1)
# 进行解码
ret2 = urllib.parse.parse_qs(ret1)
print(ret2)
参数说明
具体用法
# 引入所需要的库
import urllib.parse
# 声明url
url = "https://www.baidu.com/s?wd=urlparse&rsv_spt=1&rsv_iqid=0x921f00fe005646ef&issp=1&f=8"
# 进行url解析
ret = urllib.parse.urlparse(url)
print(ret)
print('scheme:', ret.scheme) # 协议
print('netloc:', ret.netloc) # 域名服务器
print('path:', ret.path) # 相对路径
print('params:', ret.params) # 路径端参数
print('fragment:', ret.fragment) # 片段
print('query:', ret.query) # 查询
# urlunparse() 与 urlparse() 对应相反函数
# 使用urlparse的格式组合成一个url,可以直接将urlparse的返回传递组合
ret1 = urllib.parse.urlunparse(ret)
print(ret1)
参数说明
具体用法
# 引入所需要的库
import urllib.parse
# 声明url
url = "https://www.baidu.com/s?wd=urlparse&rsv_spt=1&rsv_iqid=0x921f00fe005646ef&issp=1&f=8"
# 进行url解析
ret = urllib.parse.urlsplit(url)
print(ret)
print('scheme:', ret.scheme) # 协议
print('netloc:', ret.netloc) # 域名服务器
print('path:', ret.path) # 相对路径
print('fragment:', ret.fragment) # 片段
print('query:', ret.query) # 查询
# urlunsplit() 与 urlsplit() 对应相反函数
# 使用urlsplit的格式组合成一个url,可以直接将urlsplit的返回传递组合
ret1 = urllib.parse.urlunsplit(ret)
print(ret1)
# 此函数和urlparse函数的区别在于此函数没有params
参数说明
具体用法
# 引入所需要的库
import urllib.parse
# 声明url
url = "https://www.baidu.com/"
# 参数数据
data = {
'name': '张三',
'age': 26
}
# 格式化参数
data = urllib.parse.urlencode(data)
# 进行url拼接
ret = urllib.parse.urljoin(url, data)
print(ret)
我们在爬虫的时候发请求的时候难免出现错误,如访问不到服务器或者访问被禁止等等,error分为URLError和HTTPError两类:
URLError
HTTPError
两者区别和联系
用法
# 引入所需要的库
import urllib.error
import urllib.request
# 一个访问异常的url
url = 'https://www.mz.com/156427/100'
# 捕获异常
try:
ret = urllib.request.urlopen(url)
print(ret)
except urllib.error.HTTPError as e:
print(e.getcode())
except urllib.error.URLError as e:
print(e)