python进阶爬虫class 2(缓存)
下载缓存
通过缓存已经下载好了的url网页，来检查是否有重复下载的情况
将网页信息保存在本地磁盘上时，要注意不同操作系统的文件系统的合法字符和最大长度，以确保做到兼容，同时要注意替换后是否会产生同名现象。默认保存的网页名称为路径后的文件名，也可以使用哈希值来保存网页路径。
但是也存在着文件名为空的可能性，那么文件名为空的文件默认为index
可以同过 urllib.parse 里的 urlsplit(url)方法来实现对url的解析
对下载的html网页进行压缩
在二进制写文件下：
使用f.write( zlib.compress(pickle.dumps(html)))可以将网页压缩二进制的html网页，直接打开会乱码，可以将网页大小大致缩小为原来的一半
在二进制读文件下：
使用pickle.loads(zlib.decompress(f.read()))可以将之前的二进制的html网页读取出来，str类型
注：使用压缩会使程序速度变慢些