Python 爬虫进阶篇——diskcache缓存

在之前的python爬虫系列中介绍了几种爬取网页内容的方法以及request模块的相关内容,本次推文给大家介绍缓存相关的内容,选择的是diskcache即基于磁盘的缓存。

一、简介

DiskCache是Apache2许可的磁盘和文件支持的缓存库,用纯Python编写。

当进程使用内存时,磁盘上会留下千兆字节的空余空间。这些进程中有用Memcached(有时是Redis)作缓存。DiskCache有效地将空余的磁盘空间用于缓存。

二、安装

安装很简单

pip install diskcache

三、Cache缓存

DiskCache的核心是diskcache.Cache,代表磁盘和文件支持的缓存。

3.1 初始化

from diskcache import Cache

cache=Cache()

初始化需要目录路径引用。如果目录路径不存在,将创建它。如果未指定,则会自动创建一个临时目录。

修改如下:

from diskcache import Cache

cache=Cache(r"D:\python\cachedb\diskcahce_1")

运行结果:

会在指定位置创建一个cache.db的文件,即为缓存存放的位置;两个缓存对象是可以从单独的线程或者进程中引用同一个目录,缓存对象是线程安全的,所有缓存操作都是原子操作,并支持跨过程通信。

3.2 Set/Get

创建和获取缓存的方式也非常简单,如下:

from diskcache import Cache

cache=Cache(r"D:\python\cachedb\diskcahce_1")
cache.set("python","python知识学堂",expire=5,read=True,tag="data",retry=True)
getcache= cache.get("python",default="无",expire_time=True,tag=True)
print(getcache)

返回结果:

1、创建缓存时,有如下参数:

set(key, value, expire=None, read=False, tag=None, retry=False)

key和value分别代表缓存的key与缓存的值;

expire表示过期时间,单位秒;

read表示以二进制模式读取内容;

tag表示与key值相关的文本;

retry表示连接超时是否重试;

2、获取缓存时,如下参数:

get(key, default=None,  expire_time=False, tag=False)

key表示缓存的键值;

default表示如果对应的键值没有,则返回这个default设置的默认值;

Expire_time表示返回缓存的过期时间(从纪元开始的秒数);

tag表示返回与key值相关的文本;

3.3 touch 更新缓存的时间

touch更新缓存的时间。

参数如下:

touch(key, expire=None, retry=False)

key表示缓存的键值;expire表示设置的过期时间;retry表示是否超时重试;

示例如下:

from diskcache import Cache

cache=Cache(r"D:\python\cachedb\diskcahce_1")
cache.set("python","python知识学堂",expire=10)
print(cache.get("python",default="无",expire_time=True,tag=True))
result=cache.touch("python",expire=60)
print(result)
print(cache.get("python",default="无",expire_time=True,tag=True))

结果如下:

值得注意的是如果已经过期的key值是设置不了的。

3.4 add添加新的缓存

类似set方法,当且仅当key值不存在时,才会添加成功,如下示例:

from diskcache import Cache

cache=Cache(r"D:\python\cachedb\diskcahce_1")
print(cache.set("python","python知识学堂,欢迎你!",expire=5))
print(cache.get("python"))
print(cache.add("python","python知识学堂,不欢迎你!",expire=5))
print(cache.get("python"))
print(cache.set("python","python知识学堂,非常欢迎你!",expire=5))
print(cache.get("python"))

结果如下:


第一次 set 一个key值为python,返回True

第二次add相同的key,不同内容,返回False

第三次set相同的key,不同内容,返回True

由此可以得出,set相当于insert与update,而add只能添加新的缓存

大家可以看一下源码,源码部分截图如下:

(1)set方法源码截图:

(2)add方法源码截图:

其实从源码上看,都有判断key值存不存在,只是add的方法先判断当前的缓存是否有过期时间或是否过期,如果没有过期就直接返回False,如果已经过期了再去更新数据;

由此可以知道缓存过期并不会删除,只是被过滤了而已。

大家可以思考一下,为啥有了set方法,为啥还要add方法?

3.5 incr/decr 增量和减量

只有缓存为值类型的时候才生效,示例如下:

from diskcache import Cache

cache=Cache(r"D:\python\cachedb\diskcahce_1")
cache.set("python",123,expire=5)
cache.incr("python",1)
cache.decr("python",4)
print(cache.get("python"))

最后的的结果为:120。

其实就等价于:value+=val;value-=val,增量和减量操作是原子性的。

3.6 delete/pop缓存删除

delete删除返回True或False,而pop删除返回缓存的值,如下代码:

cache=Cache(r"D:\python\cachedb\diskcahce_1")

cache.set("python",123,expire=5)
print(cache.delete("python"))
cache.set("python",123231,expire=5)
print(cache.pop("python"))
print(cache.get("python",default="None"))

运行结果:


第一次print缓存delete的返回值True;

第二次print缓存pop的返回值缓存的数据;

第三次print 缓存值,没有找到返回默认值为”None”;

3.7 expire 删除所有过期的缓存

在上面讨论set与add的方法时提到过,过期的缓存并不会实际的删除掉,而是筛选的时候过滤了。如果有大量的数据过期了又无用了,就可以直接删除掉,释放存储空间。

实现比较简单:

cache.expire()

看一下源码的实现过程:

从源码中可以看出也是查找过期时间数据,并且expire方法可以传递时间参数,表示在某个时间节点之前的数据都删除,默认为当前时间;

四、总结

本次推文主要介绍了diskcache的基本操作并且通过部分源码带大家理解。diskcache使用起来比较简单,不同于其它缓存(如memcached、redis以及mongodb)需要搭载服务以及维护。diskcahe是基于磁盘空间的并且持久化。对于爬虫来说是一个不可多得利器。不管是做爬虫脚本的测试还是去爬大型网站,都会用到缓存尽可能减少request请求的次数从而提高爬虫的效率。

你可能感兴趣的:(Python 爬虫进阶篇——diskcache缓存)