爬虫直接将网站信息存储到本地

1.利用urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None)方法即可实现,但是缺点就是占用缓存,需要不断使用urllib.request.urlcleanup()方法来清除缓存。
2.urllib.request.unquote()方法是解码
…quote()方法是编码
3.500服务器 400访问出错 300缓存 200成功
4.urllib.request里面的info()方法是将请求的环境有关信息显示出来

你可能感兴趣的:(爬虫直接将网站信息存储到本地)