初识python爬虫urllib库

urllib库

urllib库是python中一个最基本的网络请求库,可以模拟浏览器的行为,向指定的服务器发送一个请求,并保存服务器返回的数据

urlopen函数

在Python3 的urllib库中，所有和网络请求相关的方法，都被集到urllib.request 模块下面了，以先来看下urlopen 函数基本的使用:

from urllib import request
resp = request.urlopen("http://baidu.com")
print(resp.read())

实际上，快用则览器访问百度，右键查看源代码。你会发现，跟我们刚才打印出来的数据是一 模-样的。也就是说，上面的三行代码就已经帮我们把百度的首页的全部代码爬下来了。- -个基本的ur请求对应的python代码真的非常简单。
以下对urlopen函数的进行详细讲解:

1. url :请求的url。.
2. data :请求的date ，如果设置了这个值，那么将变成post请求。
3. 近回值:返回值是一个htptctient HTRsponste对象，这个对象是一一个类文件句柄对象。有read(size) 。redline 。readlines 以及getcode 等方法。

urlretrieve函数

这个函数可以方便的将网页上的一个文件保存到本地。以下代码可以非常方便的将百度的首页下载到本地:

from urllib import request
request.urlretrieve("http://baidu.com", 'index.html')

urlencode函数

用浏览器发送请求的时候，如果url中包含了中文或者其他特殊字符。那么浏览器会自动的始我们进行编码。而如果使用代码发送请求，那么就必须手动的进行编码，这时候就应该使用urlencode函数来实现。urlencode 可以把字典数据转换为URL 编码的數据。
示例代码如下:

from urllib import parse
data = {'name':'张三','age': 10}
q = parse.urlencode(data)		#q.encode('utf-8')将会把unicode字符编程二进制的unicode,前面加上了b
print(q)	#name=%E5%BC%A0%E4%B8%89&age=10

parse.quote只能用于字符串编码

parse_qs函数

可以将经过编码的url参数进行解码,

from urllib import parse
qs = 'name=%E5%BC%A0%E4%B8%89&age=10'
print(parse.parse_qs(qs)) #{'name': ['张三'], 'age': ['10']}

urlparse和urlsplit

有时候拿到一个url，想要对这个url中的各个组成部分进行分割，那么这时候就可以使用urlparse 或者是urlsplit来进行分割。示例代码加下:

from urllib import request,parse
url = 'https://www.baidu.com/s?wd=github'
result = parse.urlsplit(url) 
#parse.urlparse(url)
print('schema',result.scheme)	#schema https
print('netloc',result.netloc)	#netloc www.baidu.com
print('path',result.path)	#path /s
print('query',result.query)	#query wd=github

request.Request类

如果想要在请求的时候增加- -些请求头,那么就必须使用request,Request类来实现。比如要增加-个User-Agent , 示例代码如下:

from urlib import request
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
}
req = request.Request('http://baidu.com', headers=headers)
resp = request.urlopen(req)
print(resp.read())

ProxyHandler处理器(代理设置)

很多网站会检测某-段时间某 个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。
所以我们可以设置一些代理服务器， 每隔- - -段时间换-一个代理,就算IP被禁止,依然可以换个IP继续爬取。
urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理:

from urllib import request
#设置代理,传入字典
handler = request.ProxyHandler({'http':'proxyip})
opener = request.build_opener(handler)  
#这个网址可以测试ip来源                                
req = request.Request("http://httpbin.org/ip")
resp = opener.open(req)
print(resp.read())                                

常用的代理有:

• 西刺免费代理IP: http://www.xicidaili.com/
• 快代理: http://ww.kuaidaili.com/
• 代理云: http://www.daliyun.com/

什么是cookie:

在网站中, http请求是无状态的。也就是说即使第一次和服 务器连接后并且登录成功后,第二次请求服务器依然不能知道当前请求是哪个用户。cookie 的出现就是为了解决这个问题，第一次登录后服务器返回一些数据(cookie)给浏览器，然后浏览器保存在本地，当该用户发送第二次请求的时候，就会自动的把上次请求存储的cookie 数据自动的携带给服务器,服务器通过浏览器携带的数
据就能判断当前用户是哪个了。cookie 存储的数据量有限，不同的浏览器有不同的存储大小，但-般不超过4KB。因此使用cookie只能存储一些小量的数据。

cookie的格式

Set-Cookie: NAME=VALUE: Expires/Max-age=DATE: Path=PATH: Domain=DOMAIN NAME: SECURE

参数意义:

• NAME: cookie的名字。
• VALUE: cookie的值。
• Expires: cookie的过期时间。
• Path: cookie作用的路径。
• Domain: cookie作用的域名 。
• SECURE: 是否只在https协议下起作用。

使用cookielib库和HTTPCookieProcessor模拟登录:

Cookie是指网站服务器为了辨别用户身份和进行Session跟踪，而储存在用户浏览器上的文本文件，Cookie可以保持登录信息到用户下次与服务器的会话。
这里以人人网为例。人人网中，要访问某个人的主页,必须先登录才能访问，登录说白了就是要有cookie信息。那么如果我们想要用代码的方式访问，就必须要有正确的cookie信息才能访问。解决方案有两种，第-种是使用浏览器访问，然后将cookie信息复制下来，放到headers中。

from urllib import request
login_url = 'http://www...'
headers = {
    'User-Agent':'.......'
}
req = request.Request(url = login_url, headers = headers)
resp = request.urlopen(req)
with open('index.html', 'w', encode='utf-8') as fp:
    fp.write(resp.read().decode('utf-8'))

但是每次在访问需要cookie的页面都要从浏览器中复制cookie比较麻烦。在Python处理Cookie,一般是通过http.cookiejar 模块和urllib模块的HTTPCookieProcessor处理器类- 起使用。http. cookiejar 模块主要作用是提供用于存储cookie的对象。而HTTPCookieProcessor处理器主要作用是处理这些cookie对象，并构建handler对象。

http.cookiejar模块

该模块主要的类有CookieJar、FileCookieJar、 MoillaCookieJar. LWPCookidJaro 这四个类的作用分别如下:

1. CookieJar:管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。
2. FileCookieJar (filename,delayload=None,policy=None):从CookieJar派生而来,用来创建FileCookieJar实例,检索cookie信息并将cookie存储到文件中。flename是存储cookie的文件名。delayload为True时 支持延迟访问访问文件，即只有在需要时才读取文件或在文件中存储数据。
3. MoillaCookieJar (filename,delayload=None,policy=None):从FileCookieJar派生而来 ,创建与Moilla浏览器cookies.txt兼容的FileCookieJar实例。
4. LWPCookieJar (flename, delayload=None,policy=None):从FileCookieJar派生而来，创建与libwww-per标准的 Set-Cookie3文件格式兼容的FileCookieJa实例。
   利用http.cookiejar 和request .HTTPCookieProcessor登录人人网。相关示例代码如下:

保存cookie到本地

可以使用cookiejar的save方法,需要指定文件名

from urllib import request
from http.cookiejar import MozillaCookieJar
cookiejar = MozillaCookieJar('cookie.txt')
cookiejar.load(ignore_discard=True)				#过期的cookie也进行存储
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

resp = opener.open('http://httpbin.org/cookies')
for cookie in cookiejar:
    print(cookie)