Python 爬虫进阶篇——diskcache缓存

在之前的python爬虫系列中介绍了几种爬取网页内容的方法以及request模块的相关内容，本次推文给大家介绍缓存相关的内容，选择的是diskcache即基于磁盘的缓存。

一、简介

DiskCache是Apache2许可的磁盘和文件支持的缓存库，用纯Python编写。

当进程使用内存时，磁盘上会留下千兆字节的空余空间。这些进程中有用Memcached（有时是Redis）作缓存。DiskCache有效地将空余的磁盘空间用于缓存。

二、安装

安装很简单

pip install diskcache

三、Cache缓存

DiskCache的核心是diskcache.Cache,代表磁盘和文件支持的缓存。

3.1 初始化

from diskcache import Cache

cache=Cache()

初始化需要目录路径引用。如果目录路径不存在，将创建它。如果未指定，则会自动创建一个临时目录。

修改如下：

from diskcache import Cache

cache=Cache(r"D:\python\cachedb\diskcahce_1")

运行结果：

会在指定位置创建一个cache.db的文件，即为缓存存放的位置；两个缓存对象是可以从单独的线程或者进程中引用同一个目录，缓存对象是线程安全的，所有缓存操作都是原子操作，并支持跨过程通信。

3.2 Set/Get

创建和获取缓存的方式也非常简单，如下：

from diskcache import Cache

cache=Cache(r"D:\python\cachedb\diskcahce_1")
cache.set("python","python知识学堂",expire=5,read=True,tag="data",retry=True)
getcache= cache.get("python",default="无",expire_time=True,tag=True)
print(getcache)

返回结果：

1、创建缓存时，有如下参数：

set(key, value, expire=None, read=False, tag=None, retry=False)

key和value分别代表缓存的key与缓存的值；

expire表示过期时间，单位秒；

read表示以二进制模式读取内容；

tag表示与key值相关的文本；

retry表示连接超时是否重试；

2、获取缓存时，如下参数：

get(key, default=None,  expire_time=False, tag=False)

key表示缓存的键值；

default表示如果对应的键值没有，则返回这个default设置的默认值；

Expire_time表示返回缓存的过期时间（从纪元开始的秒数）；

tag表示返回与key值相关的文本；

3.3 touch 更新缓存的时间

touch更新缓存的时间。

参数如下：

touch(key, expire=None, retry=False)

key表示缓存的键值；expire表示设置的过期时间；retry表示是否超时重试；

示例如下：

from diskcache import Cache

cache=Cache(r"D:\python\cachedb\diskcahce_1")
cache.set("python","python知识学堂",expire=10)
print(cache.get("python",default="无",expire_time=True,tag=True))
result=cache.touch("python",expire=60)
print(result)
print(cache.get("python",default="无",expire_time=True,tag=True))

结果如下：

值得注意的是如果已经过期的key值是设置不了的。

3.4 add添加新的缓存

类似set方法，当且仅当key值不存在时，才会添加成功，如下示例：

from diskcache import Cache

cache=Cache(r"D:\python\cachedb\diskcahce_1")
print(cache.set("python","python知识学堂，欢迎你！",expire=5))
print(cache.get("python"))
print(cache.add("python","python知识学堂，不欢迎你！",expire=5))
print(cache.get("python"))
print(cache.set("python","python知识学堂，非常欢迎你！",expire=5))
print(cache.get("python"))

结果如下：

第一次 set 一个key值为python，返回True

第二次add相同的key，不同内容，返回False

第三次set相同的key，不同内容，返回True

由此可以得出，set相当于insert与update，而add只能添加新的缓存；

大家可以看一下源码，源码部分截图如下：

（1）set方法源码截图：

（2）add方法源码截图：

其实从源码上看，都有判断key值存不存在，只是add的方法先判断当前的缓存是否有过期时间或是否过期，如果没有过期就直接返回False，如果已经过期了再去更新数据；

由此可以知道缓存过期并不会删除，只是被过滤了而已。

大家可以思考一下，为啥有了set方法，为啥还要add方法？

3.5 incr/decr 增量和减量

只有缓存为值类型的时候才生效，示例如下：

from diskcache import Cache

cache=Cache(r"D:\python\cachedb\diskcahce_1")
cache.set("python",123,expire=5)
cache.incr("python",1)
cache.decr("python",4)
print(cache.get("python"))

最后的的结果为：120。

其实就等价于：value+=val;value-=val，增量和减量操作是原子性的。

3.6 delete/pop缓存删除

delete删除返回True或False，而pop删除返回缓存的值，如下代码：

cache=Cache(r"D:\python\cachedb\diskcahce_1")

cache.set("python",123,expire=5)
print(cache.delete("python"))
cache.set("python",123231,expire=5)
print(cache.pop("python"))
print(cache.get("python",default="None"))

运行结果：

第一次print缓存delete的返回值True；

第二次print缓存pop的返回值缓存的数据；

第三次print 缓存值，没有找到返回默认值为”None”;

3.7 expire 删除所有过期的缓存

在上面讨论set与add的方法时提到过，过期的缓存并不会实际的删除掉，而是筛选的时候过滤了。如果有大量的数据过期了又无用了，就可以直接删除掉，释放存储空间。

实现比较简单：

cache.expire()

看一下源码的实现过程：

从源码中可以看出也是查找过期时间数据，并且expire方法可以传递时间参数，表示在某个时间节点之前的数据都删除，默认为当前时间；

四、总结

本次推文主要介绍了diskcache的基本操作并且通过部分源码带大家理解。diskcache使用起来比较简单，不同于其它缓存（如memcached、redis以及mongodb）需要搭载服务以及维护。diskcahe是基于磁盘空间的并且持久化。对于爬虫来说是一个不可多得利器。不管是做爬虫脚本的测试还是去爬大型网站，都会用到缓存尽可能减少request请求的次数从而提高爬虫的效率。