作者:labuladong
公众号:labuladong
上篇文章 算法题就像搭乐高:手把手带你拆解 LRU 算法写了 LRU 缓存淘汰算法的实现方法,本文来写另一个著名的缓存淘汰算法:LFU 算法。
从实现难度上来说,LFU 算法的难度大于 LRU 算法,因为 LRU 算法相当于把数据按照时间排序,这个需求借助链表很自然就能实现,你一直从链表头部加入元素的话,越靠近头部的元素就是新的数据,越靠近尾部的元素就是旧的数据,我们进行缓存淘汰的时候只要简单地将尾部的元素淘汰掉就行了。
而 LFU 算法相当于是淘汰访问频次最低的数据,如果访问频次最低的数据有多条,需要淘汰最旧的数据。把数据按照访问频次进行排序,而且频次还会不断变化,这可不容易实现。
所以说 LFU 算法要复杂很多,labuladong 进字节跳动的时候就被面试官问到了 LFU 算法。
话说回来,这种著名的算法的套路都是固定的,关键是由于逻辑较复杂,不容易写出漂亮且没有 bug 的代码。
那么本文 labuladong 就带你拆解 LFU 算法,自顶向下,逐步求精。
一、算法描述
要求你写一个类,接受一个capacity
参数,实现get
和put
方法:
class LFUCache {
// 构造容量为 capacity 的缓存
public LFUCache(int capacity) {}
// 在缓存中查询 key
public int get(int key) {}
// 将 key 和 val 存入缓存
public void put(int key, int val) {}
}
get(key)
方法会去缓存中查询键key
,如果key
存在,则返回key
对应的val
,否则返回 -1。
put(key, value)
方法插入或修改缓存。如果key
已存在,则将它对应的值改为val
;如果key
不存在,则插入键值对(key, val)
。
当缓存达到容量capacity
时,则应该在插入新的键值对之前,删除使用频次(后文用freq
表示)最低的键值对。如果freq
最低的键值对有多个,则删除其中最旧的那个。
// 构造一个容量为 2 的 LFU 缓存
LFUCache cache = new LFUCache(2);
// 插入两对 (key, val),对应的 freq 为 1
cache.put(1, 10);
cache.put(2, 20);
// 查询 key 为 1 对应的 val
// 返回 10,同时键 1 对应的 freq 变为 2
cache.get(1);
// 容量已满,淘汰 freq 最小的键 2
// 插入键值对 (3, 30),对应的 freq 为 1
cache.put(3, 30);
// 键 2 已经被淘汰删除,返回 -1
cache.get(2);
二、思路分析
一定先从最简单的开始,根据 LFU 算法的逻辑,我们先列举出算法执行过程中的几个显而易见的事实:
1、调用get(key)
方法时,要返回该key
对应的val
。
2、只要用get
或者put
方法访问一次某个key
,该key
的freq
就要加一。
3、如果在容量满了的时候进行插入,则需要将freq
最小的key
删除,如果最小的freq
对应多个key
,则删除其中最旧的那一个。
好的,我们希望能够在 O(1) 的时间内解决这些需求,可以使用基本数据结构来逐个击破:
1、使用一个HashMap
存储key
到val
的映射,就可以快速计算get(key)
。
HashMap keyToVal;
2、使用一个HashMap
存储key
到freq
的映射,就可以快速操作key
对应的freq
。
HashMap keyToFreq;
3、这个需求应该是 LFU 算法的核心,所以我们分开说。
3.1****、首先,肯定是需要freq
到key
的映射,用来找到freq
最小的key
。
3.2、将freq
最小的key
删除,那你就得快速得到当前所有key
最小的freq
是多少。想要时间复杂度 O(1) 的话,肯定不能遍历一遍去找,那就用一个变量minFreq
来记录当前最小的freq
吧。
3.3、可能有多个key
拥有相同的freq
,所以 freq
对key
是一对多的关系,即一个freq
对应一个key
的列表。
3.4、希望freq
对应的key
的列表是存在时序的,便于快速查找并删除最旧的key
。
3.5、希望能够快速删除key
列表中的任何一个key
,因为如果频次为freq
的某个key
被访问,那么它的频次就会变成freq+1
,就应该从freq
对应的key
列表中删除,加到freq+1
对应的key
的列表中。
HashMap> freqToKeys;int minFreq = 0;
介绍一下这个LinkedHashSet
,它满足我们 3.3,3.4,3.5 这几个要求。你会发现普通的链表LinkedList
能够满足 3.3,3.4 这两个要求,但是由于普通链表不能快速访问链表中的某一个节点,所以无法满足 3.5 的要求。
LinkedHashSet
顾名思义,是链表和哈希集合的结合体。链表不能快速访问链表节点,但是插入元素具有时序;哈希集合中的元素无序,但是可以对元素进行快速的访问和删除。
那么,它俩结合起来就兼具了哈希集合和链表的特性,既可以在 O(1) 时间内访问或删除其中的元素,又可以保持插入的时序,高效实现 3.5 这个需求。
综上,我们可以写出 LFU 算法的基本数据结构:
class LFUCache {
// key 到 val 的映射,我们后文称为 KV 表
HashMap keyToVal;
// key 到 freq 的映射,我们后文称为 KF 表
HashMap keyToFreq;
// freq 到 key 列表的映射,我们后文称为 FK 表
HashMap> freqToKeys;
// 记录最小的频次
int minFreq;
// 记录 LFU 缓存的最大容量
int cap;
public LFUCache(int capacity) {
keyToVal = new HashMap<>();
keyToFreq = new HashMap<>();
freqToKeys = new HashMap<>();
this.cap = capacity;
this.minFreq = 0;
}
public int get(int key) {}
public void put(int key, int val) {}
}
三、代码框架
LFU 的逻辑不难理解,但是写代码实现并不容易,因为你看我们要维护KV
表,KF
表,FK
表三个映射,特别容易出错。对于这种情况,labuladong 教你三个技巧:
1、不要企图上来就实现算法的所有细节,而应该自顶向下,逐步求精,先写清楚主函数的逻辑框架,然后再一步步实现细节。
2、搞清楚映射关系,如果我们更新了某个key
对应的freq
,那么就要同步修改KF
表和FK
表,这样才不会出问题。
3、画图,画图,画图,重要的话说三遍,把逻辑比较复杂的部分用流程图画出来,然后根据图来写代码,可以极大减少出错的概率。
下面我们先来实现get(key)
方法,逻辑很简单,返回key
对应的val
,然后增加key
对应的freq
:
public int get(int key) {
if (!keyToVal.containsKey(key)) {
return -1;
}
// 增加 key 对应的 freq
increaseFreq(key);
return keyToVal.get(key);
}
增加key
对应的freq
是 LFU 算法的核心,所以我们干脆直接抽象成一个函数increaseFreq
,这样get
方法看起来就简洁清晰了对吧。
下面来实现put(key, val)
方法,逻辑略微复杂,我们直接画个图来看:
这图就是随手画的,不是什么正规的程序流程图,但是算法逻辑一目了然,看图可以直接写出put
方法的逻辑:
public void put(int key, int val) {
if (this.cap <= 0) return;
/* 若 key 已存在,修改对应的 val 即可 */
if (keyToVal.containsKey(key)) {
keyToVal.put(key, val);
// key 对应的 freq 加一
increaseFreq(key);
return;
}
/* key 不存在,需要插入 */
/* 容量已满的话需要淘汰一个 freq 最小的 key */
if (this.cap <= keyToVal.size()) {
removeMinFreqKey();
}
/* 插入 key 和 val,对应的 freq 为 1 */
// 插入 KV 表
keyToVal.put(key, val);
// 插入 KF 表
keyToFreq.put(key, 1);
// 插入 FK 表
freqToKeys.putIfAbsent(1, new LinkedHashSet<>());
freqToKeys.get(1).add(key);
// 插入新 key 后最小的 freq 肯定是 1
this.minFreq = 1;
}
increaseFreq
和removeMinFreqKey
方法是 LFU 算法的核心,我们下面来看看怎么借助KV
表,KF
表,FK
表这三个映射巧妙完成这两个函数。
四、LFU 核心逻辑
首先来实现removeMinFreqKey
函数:
private void removeMinFreqKey() {
// freq 最小的 key 列表
LinkedHashSet keyList = freqToKeys.get(this.minFreq);
// 其中最先被插入的那个 key 就是该被淘汰的 key
int deletedKey = keyList.iterator().next();
/* 更新 FK 表 */
keyList.remove(deletedKey);
if (keyList.isEmpty()) {
freqToKeys.remove(this.minFreq);
// 问:这里需要更新 minFreq 的值吗?
}
/* 更新 KV 表 */
keyToVal.remove(deletedKey);
/* 更新 KF 表 */
keyToFreq.remove(deletedKey);
}
删除某个键key
肯定是要同时修改三个映射表的,借助minFreq
参数可以从FK
表中找到freq
最小的keyList
,根据时序,其中第一个元素就是要被淘汰的deletedKey
,操作三个映射表删除这个key
即可。
但是有个细节问题,如果keyList
中只有一个元素,那么删除之后minFreq
对应的key
列表就为空了,也就是minFreq
变量需要被更新。如何计算当前的minFreq
是多少呢?
实际上没办法快速计算minFreq
,只能线性遍历FK
表或者KF
表来计算,这样肯定不能保证 O(1) 的时间复杂度。
但是,其实这里没必要更新minFreq
变量,因为你想想removeMinFreqKey
这个函数是在什么时候调用?在put
方法中插入新key
时可能调用。而你回头看put
的代码,插入新key
时一定会把minFreq
更新成 1,所以说即便这里minFreq
变了,我们也不需要管它。
下面来实现increaseFreq
函数:
private void increaseFreq(int key) {
int freq = keyToFreq.get(key);
/* 更新 KF 表 */
keyToFreq.put(key, freq + 1);
/* 更新 FK 表 */
// 将 key 从 freq 对应的列表中删除
freqToKeys.get(freq).remove(key);
// 将 key 加入 freq + 1 对应的列表中
freqToKeys.putIfAbsent(freq + 1, new LinkedHashSet<>());
freqToKeys.get(freq + 1).add(key);
// 如果 freq 对应的列表空了,移除这个 freq
if (freqToKeys.get(freq).isEmpty()) {
freqToKeys.remove(freq);
// 如果这个 freq 恰好是 minFreq,更新 minFreq
if (freq == this.minFreq) {
this.minFreq++;
}
}
}
更新某个key
的freq
肯定会涉及FK
表和KF
表,所以我们分别更新这两个表就行了。
和之前类似,当FK
表中freq
对应的列表被删空后,需要删除FK
表中freq
这个映射。如果这个freq
恰好是minFreq
,说明minFreq
变量需要更新。
能不能快速找到当前的minFreq
呢?这里是可以的,因为我们刚才把key
的freq
加了 1 嘛,所以minFreq
也加 1 就行了。
至此,经过层层拆解,LFU 算法就完成了。