在之前的python爬虫系列中介绍了几种爬取网页内容的方法以及request模块的相关内容，本次推文给大家介绍缓存相关的内容，选择的是diskcache即基于磁盘的缓存。
一、简介
DiskCache是Apache2许可的磁盘和文件支持的缓存库，用纯Python编写。
当进程使用内存时，磁盘上会留下千兆字节的空余空间。这些进程中有用Memcached（有时是Redis）作缓存。DiskCache有效地将空余的磁盘空间用于缓存。
二、安装
安装很简单
pip install diskcache
三、Cache缓存
DiskCache的核心是diskcache.Cache,代表磁盘和文件支持的缓存。
3.1 初始化
from diskcache import Cache
cache=Cache()
初始化需要目录路径引用。如果目录路径不存在，将创建它。如果未指定，则会自动创建一个临时目录。
修改如下：
from diskcache import Cache
cache=Cache(r"D:\python\cachedb\diskcahce_1")
运行结果：
会在指定位置创建一个cache.db的文件，即为缓存存放的位置；两个缓存对象是可以从单独的线程或者进程中引用同一个目录，缓存对象是线程安全的，所有缓存操作都是原子操作，并支持跨过程通信。
3.2 Set/Get
创建和获取缓存的方式也非常简单，如下：
from diskcache import Cache
cache=Cache(r"D:\python\cachedb\diskcahce_1")
cache.set("python","python知识学堂",expire=5,read=True,tag="data",retry=True)
getcache= cache.get("python",default="无",expire_time=True,tag=True)
print(getcache)
返回结果：
1、创建缓存时，有如下参数：
set(key, value, expire=None, read=False, tag=None, retry=False)
key和value分别代表缓存的key与缓存的值；
expire表示过期时间，单位秒；
read表示以二进制模式读取内容；
tag表示与key值相关的文本；
retry表示连接超时是否重试；
2、获取缓存时，如下参数：
get(key, default=None, expire_time=False, tag=False)
key表示缓存的键值；
default表示如果对应的键值没有，则返回这个default设置的默认值；
Expire_time表示返回缓存的过期时间（从纪元开始的秒数）；
tag表示返回与key值相关的文本；
3.3 touch 更新缓存的时间
touch更新缓存的时间。
参数如下：
touch(key, expire=None, retry=False)
key表示缓存的键值；expire表示设置的过期时间；retry表示是否超时重试；
示例如下：
from diskcache import Cache
cache=Cache(r"D:\python\cachedb\diskcahce_1")
cache.set("python","python知识学堂",expire=10)
print(cache.get("python",default="无",expire_time=True,tag=True))
result=cache.touch("python",expire=60)
print(result)
print(cache.get("python",default="无",expire_time=True,tag=True))
结果如下：
值得注意的是如果已经过期的key值是设置不了的。
3.4 add添加新的缓存
类似set方法，当且仅当key值不存在时，才会添加成功，如下示例：
from diskcache import Cache
cache=Cache(r"D:\python\cachedb\diskcahce_1")
print(cache.set("python","python知识学堂，欢迎你！",expire=5))
print(cache.get("python"))
print(cache.add("python","python知识学堂，不欢迎你！",expire=5))
print(cache.get("python"))
print(cache.set("python","python知识学堂，非常欢迎你！",expire=5))
print(cache.get("python"))
结果如下：
第一次 set 一个key值为python，返回True
第二次add相同的key，不同内容，返回False
第三次set相同的key，不同内容，返回True
由此可以得出，set相当于insert与update，而add只能添加新的缓存；
大家可以看一下源码，源码部分截图如下：
（1）set方法源码截图：
（2）add方法源码截图：
其实从源码上看，都有判断key值存不存在，只是add的方法先判断当前的缓存是否有过期时间或是否过期，如果没有过期就直接返回False，如果已经过期了再去更新数据；
由此可以知道缓存过期并不会删除，只是被过滤了而已。
大家可以思考一下，为啥有了set方法，为啥还要add方法？
3.5 incr/decr 增量和减量
只有缓存为值类型的时候才生效，示例如下：
from diskcache import Cache
cache=Cache(r"D:\python\cachedb\diskcahce_1")
cache.set("python",123,expire=5)
cache.incr("python",1)
cache.decr("python",4)
print(cache.get("python"))
最后的的结果为：120。
其实就等价于：value+=val;value-=val，增量和减量操作是原子性的。
3.6 delete/pop缓存删除
delete删除返回True或False，而pop删除返回缓存的值，如下代码：
cache=Cache(r"D:\python\cachedb\diskcahce_1")
cache.set("python",123,expire=5)
print(cache.delete("python"))
cache.set("python",123231,expire=5)
print(cache.pop("python"))
print(cache.get("python",default="None"))
运行结果：
第一次print缓存delete的返回值True；
第二次print缓存pop的返回值缓存的数据；
第三次print 缓存值，没有找到返回默认值为”None”;
3.7 expire 删除所有过期的缓存
在上面讨论set与add的方法时提到过，过期的缓存并不会实际的删除掉，而是筛选的时候过滤了。如果有大量的数据过期了又无用了，就可以直接删除掉，释放存储空间。
实现比较简单：
cache.expire()
看一下源码的实现过程：
从源码中可以看出也是查找过期时间数据，并且expire方法可以传递时间参数，表示在某个时间节点之前的数据都删除，默认为当前时间；
四、总结
本次推文主要介绍了diskcache的基本操作并且通过部分源码带大家理解。diskcache使用起来比较简单，不同于其它缓存（如memcached、redis以及mongodb）需要搭载服务以及维护。diskcahe是基于磁盘空间的并且持久化。对于爬虫来说是一个不可多得利器。不管是做爬虫脚本的测试还是去爬大型网站，都会用到缓存尽可能减少request请求的次数从而提高爬虫的效率。