Python爬虫学习笔记三：Handler处理器，代理, cookie

1.Handler处理器，自定义Opener

import urllib.request
import urllib.parse

url = 'http://www.baidu.com'

headers{
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36
}

#创建一个handler
handler = urllib.request.HTTPHandler()

# 通过handler创建一个opener
# opener就是一个对象，发送请求时，直接使用opener里面的方法即可，不要使用urlopen
opener = urllib.request.build_opener(handler)

# 构建请求对象
request = urllib.request.Request(url,headers=headers)

#发送请求
response = opener.open(request)

print(response.read().decode())

 

2.代理

正向代理 代理客户端获取数据

反向代理 代理服务端提供数据

正向代理

浏览器配置

IP地址代理（快代理）

IP地址代理（西刺代理）

代码配置

import urllib.request
import urllib.parse


# 创建handler
handeler = urllib.request.ProxyHandler('http':'113.79.75.104:9797')

# 常见opener]
opener = urllib.request.build_opener(handler)

url = 'http://www.baidu.com/s?ie=UTF-8&wd=ip'
headers={
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36
}

# 构建请求
request = urllib.request.Request(url,headers=headers)

# 发送请求
response = opener.open(request)

with open('ip.html','wb') as fp:
    print(response.read())
    fp.write(response.read())

3.cookie