我们在爬虫的过程中用cookies访问网站的时候,有时候会出现这个错误
urllib.error.URLError:
①、检查访问的链接时候正确,建议直接整条链接复制,容易错的是符号的中英文切换;
②、可能是链接的单双引号的问题(这个可能是错误的,因为我测试了单双引号都可以访问,但是病急乱投医,第一个方法解决不了,这个试试看也是可以的)
import http.cookiejar,urllib.request
cookie = http.cookiejar.LWPCookieJar()
cookie.load('cookies1.txt',ignore_expires=True,ignore_discard=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www,baidu.com') # 看看我链接里的逗号。就是错误引发的原因
print(response.read().decode('utf-8'))
源码来自《Python 3网络爬虫开发实战》