爬虫实战入门教程（二）
第二天
ProxyHandler处理器（代理）
很多网站会检测某一段时间某个IP的访问次数（通过流量统计，系统日志等），如果访问次数多的不像正常人，它会禁止这个IP的访问。所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。
- 代理的原理：在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的网站的数据后，再转发给我们的代码。
http://httpbin.org: 这个网站可以方便的查看http请求的一些参数。- 在代码中使用代理：
- 使用
urllib.request.ProxyHadler，传入一个代理，这个代理是一个字典，字典的key依赖于代理服务器能够接收的类型，一般是http或者https，字典的value值是ip：port。 - 使用上一步创建的
handler，以及request.build_opener创建一个opener。 - 使用上一步创建的
opener，调用open函数，发送请求。
- 使用
from urllib import request
# 不使用代理的情况下
# resp = request.urlopen('http://httpbin.org/ip')
# print(resp.read().decode('utf-8')) # "origin": "219.229.253.161"
# 使用代理的情况下
# 1. 使用ProxyHandler, 传入代理构建一个handler
handler = request.ProxyHandler({"http": "175.44.109.231:9999"})
# 2. 使用上面创建的handler构建一个opener
opener = request.build_opener(handler)
# 3. 使用opener去发送一个请求
resp = opener.open("http://httpbin.org/ip")
print(resp.read())
什么是cookie
在网站中，http请求是无状态的。也就是说即使第一次和服务器连接后并且登录成功后，第二次请求服务器依然不能知道当前请求是哪个用户。cookie的出现就是为了解决这个问题，第一次登录后服务器返回一些数据cookie给浏览器，然后浏览器保存在本地，当该用户发送第二次请求的时候，就会自动的把上次请求存储的cookie数据自动的携带给服务器，服务器通过浏览器携带的数据就能判断当前用户是哪个了。cookie存储的数据量有限，不同的浏览器有不同的存储大小，但一般不超过4KB。因此使用cookie 只能存储一些小量的数据。
cookie的格式：
Set-Cookie: NAME=VALUE；Expires/Max-age=DATE; Path=PATH; Domain=DOMAIIN_NAME; SECURE
参数意义：
- NAME: cookie的名字
- VALUE: cookie的值
- Expires: cookie的过期时间
- Path: cookie作用的路径
- Domain: cookie作用的域名
- SECURE: 是否只在 https 协议下起作用
使用cookielib库和HTTPCookieProcessor模拟登录：
Cookie是指网站服务器为了辨别用户身份和进行Session跟踪，而储存在用户浏览器上的文本文件，Cookie可以保持登录信息到用户下次与服务器的会话。
这里以人人网为例。人人网中，要访问某个人的主页，必须先登录才能访问，登录说白了就是要有cookie信息。那么如果我们想要用代码的方式访问，就必须要有正确的cookie信息才能访问。解决方案有两种，第一种是使用刻览器访问，然后将cookie信息复制下来，放到headers中。示例代码如下：
from urllib import request
# 1. 不使用cookie去请求大鹏的主页
dapeng_url = "http://www.renren.com/880151247/profile"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3704.400 QQBrowser/10.4.3587.400',
# 如果请求头中含有cookie信息，则会保持登录状态，否则一直需要先登录才能访问大鹏主页
'Cookie': 'anonymid=jwy79klzo84qj1; depovince=JX; _r01_=1; JSESSIONID=abcotZkJCa08Md-fRHTWw; ick_login=119ca112-1e04-4220-b25c-1f004bc2cc7c; _de=6EA91A95A25CB9A9E9A733E889DEC4FC; ick=a77ffbeb-7669-4deb-b3e3-414f7ecfd018; __utma=151146938.714519948.1564131992.1564131992.1564131992.1; __utmc=151146938; __utmz=151146938.1564131992.1.1.utmcsr=renren.com|utmccn=(referral)|utmcmd=referral|utmcct=/; __utmb=151146938.2.10.1564131992; t=fbf10b042c1324b7084357b6612705e89; societyguester=fbf10b042c1324b7084357b6612705e89; id=971643349; xnsid=d2773220; ver=7.0; loginfrom=null; jebe_key=44223acd-3824-40d3-83a4-2930742e5335%7C0d65bc48b4f7cd5d2f28f5b239555838%7C1564132038812%7C1%7C1564132039642; jebe_key=44223acd-3824-40d3-83a4-2930742e5335%7C0d65bc48b4f7cd5d2f28f5b239555838%7C1564132038812%7C1%7C1564132039645; wp_fold=0; jebecookies=b267efd6-40d7-4804-960e-c989e6626418|||||'
}
req = request.Request(url=dapeng_url, headers=headers)
resp = request.urlopen(req)
# print(resp.read().decode('utf-8'))
# 写入到html页面
with open('renren.html', 'w') as fp:
# write 函数必须写入一个str的数据类型
# resp.read()读出来的是一个bytes数据类型
# bytes-->str .decode('utf-8')
# str-->bytes .encode('utf-8')
fp.write(resp.read().decode('utf-8'))
上述方法，通过手动添加cookies信息，尽管可以实现需求，但是每次在访问需要cookie的页面都要从浏览器中复制cookie比较麻烦。在Python处理Cookie，一般是通过http.cookiejar模块和urllib模块的HTTPCookieProcessor 处理器类一起使用。http.cookiejar 模块主要作用是提供用于存储cookie的对象。
而HTTPCookieProcessor 处理器主要作用是处理这些cookie对象，并构建handler对象。
http.cookiejar模块：
该模块主要的类有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookiJar。这四个类的作用分别如下：
CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。FileCookieJar（filename，delayload=None，policy=None）：从CookieJar派生而来，用来创建FileCookieJar实例，检素cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问访问文件，即只有在需要时才读取文件或在文件中存储数据。MozillaCookieJar（filename，delayload=None，policy=None）：从FileCookieJar派生而来，创建与Mozilla浏览器cookies.txt兼容的FileCookieJar实例。LWPCookieJar（filename，delayload=None，policy=None）：从FileCookieJar派生而来，创建与libwww-per标准的Set-Cookie3文件格式兼容的FileCookieJa实例。
利用http.cookiejar 和request.HTTpCokieprocessor登录人人网。相关示例代码如下：
from urllib import request, parse
from http.cookiejar import CookieJar
# 1. 登录
# 1.1 创建一个cookiejar对象
cookiejar = CookieJar()
# 1.2 使用ookiejar创建一个HTTPCookieProcess对象
handler = request.HTTPCookieProcessor(cookiejar)
# 1.3 使用上一步创建的handler创建一个opener
opener = request.build_opener(handler)
# 1.4 使用opener发送登录的请求（人人网邮箱和密码）
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3704.400 QQBrowser/10.4.3587.400'
}
data = {
'email': "[email protected]",
'password': "pythonspider"
}
login_url = "http://www.renren.com/PLogin.do"
req = request.Request(url=login_url, data=parse.urlencode(data).encode('utf-8'), headers=headers)
opener.open(req) # 仅仅为了获得cookie信息，不需要返回响应信息
# 2. 访问个人主页
dapeng_url = "http://www.renren.com/880151247/profile"
# 获取个人主页页面的时候，不要新建一个opener，而应该使用之前的那个opener，
# 因为之前的那个opener已经包含了登录所需要的cookies信息
req = request.Request(url=dapeng_url, headers=headers)
resp = opener.open(req)
with open('renren.html', 'w', encoding='utf-8') as fp:
fp.write(resp.read().decode('utf-8'))
对代码进行规范化：
from urllib import request, parse
from http.cookiejar import CookieJar
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3704.400 QQBrowser/10.4.3587.400'
}
def get_opener():
# 1. 登录
# 1.1 创建一个cookiejar对象
cookiejar = CookieJar()
# 1.2 使用ookiejar创建一个HTTPCookieProcess对象
handler = request.HTTPCookieProcessor(cookiejar)
# 1.3 使用上一步创建的handler创建一个opener
opener = request.build_opener(handler)
return opener
def login_renren(opener):
# 1.4 使用opener发送登录的请求（人人网邮箱和密码）
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3704.400 QQBrowser/10.4.3587.400'
}
data = {
'email': "[email protected]",
'password': "pythonspider"
}
login_url = "http://www.renren.com/PLogin.do"
req = request.Request(url=login_url, data=parse.urlencode(data).encode('utf-8'), headers=headers)
opener.open(req) # 仅仅为了获得cookie信息，不需要返回响应信息
def visit_profile(opener):
# 2. 访问个人主页
dapeng_url = "http://www.renren.com/880151247/profile"
# 获取个人主页页面的时候，不要新建一个opener，而应该使用之前的那个opener，
# 因为之前的那个opener已经包含了登录所需要的cookies信息
req = request.Request(url=dapeng_url, headers=headers)
resp = opener.open(req)
with open('renren.html', 'w', encoding='utf-8') as fp:
fp.write(resp.read().decode('utf-8'))
if __name__ == '__main__':
opener = get_opener()
login_renren(opener)
visit_profile(opener)
保存cookie到本地：
保存cooke到本地，可以使用cookiejar的save方法，并且需要指定一个文件名：
from urllib import request
from http.cookiejar import MozillaCookieJar
cookiejar = MozillaCookieJar("cookie.txt")
# cookiejar.load(ignore_discard=True) # 直接读取本地保存的cookie信息
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)
resp = opener.open("http://www.baidu.com")
# resp = opener.open("http://httpbin.org/cookies/set?course=spider") # 设置cookie信息
# resp = opener.open("http://httpbin.org/cookies") # 查看cookie信息
# 浏览会话结束时就会过期。即把整个浏览器关闭后就会过期。传递一个参数可以解决
cookiejar.save(ignore_discard=True) # 传递一个参数可以解决，并保存到本地
# 打印cookie信息
# for cookie in cookiejar:
# print(cookie)
requests库
虽然Python的标准库中urllib模块已经包含了平常我们使用的大多数功能，但是它的API使用起来让人感觉不太好，而Requests宣传是"HTTP for Humans"，说明使用更简洁方便。
安装和文档地址：利用pip可以非常方便的安装：pip install requests
中文文档：http://docs.python-requests.org/zh_cN/latest/index.htmll
github地址：https://github.com/requests/requests
发送GET请求：
-
最简单的发送
get请求就是通过requests.get来调用：response= requests.get("http://www.baidu.com/") -
添加
headers和查询参数：如果想添加
headers，可以传入headers参数来增加请求头中的headers信息。如果要将参数放在url中传递，可以利用params参数。相关示例代码如下：import requests kw = {'wd': "中国"} headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3704.400 QQBrowser/10.4.3587.400"} # params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode() response = requests.get("http://www.baidu.com/s", params = kw, headers=headers) # 查看响应内容，response.text 返回的是Unicode格式的数据 print(response.text) # 查看响应内容，response.content返回的字节流数据 print(response.content) # 查看完整url地址 print(response.url) # 查看响应头部字符编码 print(response.encoding) # 查看响应码 print(response.statu_code) -
response.text和response.content的区别：response.content：这个是直接从网络上面抓取的数据。没有经过任何解码。所以是一个bytes类型。其实在硬盘上和在网络上传输的字符串都是bytes类型。response.text：这个是str的数据类型，是requests库将response.content进行解码的字符串。解码需要指定一个编码方式，repquests会根据自己的猜测来判断编码的方式。所以有时候可能会猜测错误，就会导致解码产生乱码。这时候就应该使用response.content.decode（"utf-8'），进行手动解码。
发送POST请求：
发送post请求非常简单。直接调用requests.post方法就可以了。如果返回的json数据。那么可以调用response.json()来将json字符串转为字典或列表。
import requests
data = {
"first": "true",
"pn": "1",
"kd": "python"
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36",
"Referer": "https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput="
}
response = requests.post("https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=", data=data, headers=headers)
print(response.text)
# print(response.json())
使用代理：
使用requests添加代理也非常简单，只要在请求的方法中（比如get或者post）传递proxies参数就可以了。示例代码如下：
import requests
proxy = {
"http": "113.124.93.75:9999"
}
response = requests.get("http://httpbin.org/ip", proxies=proxy)
print(response.text)
# 输出：{"origin": "113.124.93.75,10.100.91.201"}
cookie：
如果在一个响应中包含了cookie，那么可以利用cookies属性拿到这个返回的cookie值
import requests
response = requests.get("https://www.baidu.com/")
print(response.cookies) # 返回一个对象
print(response.cookies.get_dict())
session：[仅仅表示会话，不是web开发中的session]
之前使用urllib年，是可以使用opener发送多个请求，多个请求之间是可以共享cookie的。那么如果使用requests，也要达到共享cookie的目的，那么可以使用requests库给我们提供的session对象。注意，这里的session不是web开发中的那个session，这个地方只是一个会话的对象而已。还是以登录人人网为例，使用requests来实现。示例代码如下：
import requests
url = "http://www.renren.com/PLogin.do"
data = {
"email": "[email protected]",
"password": "pythonspider"
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36"
}
session = requests.Session() # 大小写无所谓
session.post(url=url, data=data, headers=headers)
response = session.get("http://www.renren.com/880151247/profile")
with open("ren.html", 'w', encoding="utf-8") as fp:
fp.write(response.text)