如何实现LRU缓存淘汰算法?

文章来源于极客时间前google工程师−王争专栏。

开篇思考

如何用链表来实现LRU缓存淘汰策略?

  1. 缓存是一种提高数据读取性能的技术,比如常见的CPU缓存、数据库缓存、浏览器缓存。
  2. 缓存的大小有限,当缓存被用满时,哪些数据应该被清理出去,哪些数据应该被保留?这就需要缓存淘汰策略来决定。常见的策略有三种
    • 先进先出策略FIFO(First In,First Out)
    • 最少使用策略LFU(Least Frequently Used)
    • 最近最少使用策略LRU(Least Recently Used)
      3.书房清理书籍策略场景

链表结构

底层存储结构对比数组

  • 数组需要一块连续的内存空间来存储,对内存的要求比较高。如果我们申请一个100MB大小的数组,当内存中没有连续的、足够大的存储空间时,即便内存的剩余总可用空间大于100MB,仍然会申请失败
  • 链表不需要连续的内存空间,它通过“指针”将一组零散的内存块串联起来使用,如果我们申请的是100MB大小的链表,根本不会有问题。

如何实现LRU缓存淘汰算法?_第1张图片

单链表

链表通过指针将一组零散的内存块串联在一起。其中,我们把内存块称为链表的“结点”。为了将所有的结点串联起来,每个链表的结点除了存储数据之外,还需要记录链上的下一个结点的地址。

如何实现LRU缓存淘汰算法?_第2张图片

  • 第一个结点叫作头结点,用来记录链表的基地址,有了它,我们就可以遍历得到整条链表。
  • 最后一个结点叫作尾结点,指针不是指向下一个结点,而是指向一个空地址null,表示这是链表上最后一个结点。
  • 链表的插入和删除操作,我们只需要考虑相邻结点的指针改变,所以对应的时间复杂度为O(1)

如何实现LRU缓存淘汰算法?_第3张图片

  • 链表要随机访问第k个元素,就没有数组那么高效了。因为链表中的数据并非连续存储的,所以无法像数组那样,根据首地址和下标,通过寻址公式就能直接计算出对应的内存地址,而是需要根据指针一个结点一个结点地依次遍历,直到找到相应的结点。
    • 可以将链表想象成队伍,每个人只知道自己后面的人是谁,所以需要从第一个往下数。所以链表随机访问的性能没有数组好,需要O(n)的时间复杂度。

循环列表

循环列表是一种特殊的单链表。 它跟单链表唯一的区别就在于尾结点。循环列表的尾结点指向链表的头结点。

如何实现LRU缓存淘汰算法?_第4张图片

循环列表的优点是从链尾到链头非常方便。当要处理的数据具有环形特点时,就特别适合采用循环列表。

约瑟夫问题使用循环列表比单列表简洁的多。

双向链表(常用)

它支持两个方向,每个结点不止有一个后继指针next指向后面的结点,还有一个前驱指针prev指向前面的结点。

如何实现LRU缓存淘汰算法?_第5张图片

  • 双向链表需要额外的两个空间来存储后继结点和前驱结点的地址。
    • 如果存储同样多的数据,双向链表比单链表占用更多的内存空间。
    • 虽然两个指针比较浪费存储空间,但是支持双向遍历,更具灵活性。
  • 双向链表可以支持O(1)时间复杂度情况下找到前驱结点。
    • 某些情况下的插入、删除等操作都要比单链表简单、高效。

删除插入复杂度都为O(1),为什么双向链表比单链表更简单高效呢?

在实际的软件开发中,从链表中删除一个数据无外乎这两种情况:

  • 删除结点中“值等于某个给定值”的结点。
  • 删除给定指针指向的结点。

对于第一种情况,不管是单链表还是双向链表,为了查找到值等于给定值的结点,都需要从头结点开始一个一个遍历,直到找到值等于给定值的结点,然后再通过我前面讲的指针操作将其删除。

单纯的删除操作时间复杂度为O(1),遍历对应的时间复杂度为O(n),根据加法法则,删除值等于给定值的结点对应的链表操作的总时间复杂度为O(n)。

对于第二种情况,我们已经找到了要删除的结点,但是删除某个结点q要知道其前驱结点,而单链表并不支持直接获取前驱结点,所以,为了找到前驱结点,我们还是要从头结点开始遍历链表,直到p->next=q,说明p是q的前驱结点。

但是双向列表中的结点已经保存了前驱结点的指针,不需要像单链表那样遍历。单链表删除需要O(n)的时间复杂度,而双向链表只需要在O(1)的时间复杂度就搞定了。

在链表的某个结点前面插入一个结点,双向链表比单链表有很大的优势。双向链表可以在O(1)时间复杂度搞定,而单向链表需要O(n)的时间复杂度。

对于一个有序的链表,双向链表的按值查询的效率也要比单链表高一些。因为,我们可以记录上次查找的位置p,每次查询时,根据要查找的值与p的大小关系,决定往前还是往后查找,所以只需要查找一半的数据。

LinkedHashMap使用到了双向链表这种数据结构。

缓存技术用到了空间换时间的设计思想。

双向循环链表

如何实现LRU缓存淘汰算法?_第6张图片

链表与数组性能比拼

如何实现LRU缓存淘汰算法?_第7张图片

  • 实际软件开发中,不能仅仅用复杂度分析就决定使用哪个数据结构来存储数据。
  • 数组内存连续,可以借助CPU缓存机制,预读数组中的数据,访问效率更高。链表在内存中并不是连续存储,对CPU缓存不友好,没办法有效预读。
  • 数组的缺点是大小固定,一经声明就要占用整块连续内存空间。系统没有足够的连续内存空间分配,会导致“内存不足(out of memory)”。如果声明数组过小,不够用,就要再申请一个更大的空间,将原数组拷贝进去,非常耗时。链表本身没有大小限制,天然支持动态扩容,这是它与数组最大的区别。
  • 如果对内存使用很苛刻,数组更适合。因为链表中每个结点都需要消耗额外的存储空间去存储一份指向下一个结点的指针,所以内存消耗会翻倍。频繁的插入、删除操作,会导致频繁的内存申请和释放,容易造成内存碎片。java语言会导致频繁的gc。

解答开篇

如何基于链表实现LRU缓存淘汰算法?

实现思路

思路:维护一个有序单链表,越靠近链表尾部的结点是越早之前访问的。当有一个新的数据被访问时,我们从链表头开始顺序遍历链表。

  • 如果此数据之前已经被缓存在链表中了,我们遍历得到这个数据对应的结点,并将其从原来的位置删除,然后在插入到链表的头部。
  • 如果此数据没有在缓存链表中,又可以分为两种情况。
    • 如果此时缓存未满,则将此结点直接插入到链表的头部
    • 如果此时缓存已满,则链表尾结点删除,将新的数据结点插入链表头部。

因为不管缓存有没有满,我们都需要遍历一遍链表,所以这种基于链表的实现思路,缓存访问的时间复杂度为O(n)。

实现优化

优化:以上的实现思路可以继续优化,比如引入散列表(hash table)来记录每个数据的位置,将缓存访问的时间复杂度降为O(1)。

实现拓展

拓展:如何利用数组实现LRU缓存淘汰策略?
思路:维护一个数组,越靠近数组底部的内存记录越早之前访问的数据。当有一个新数据被访问时,我们从数组顶端开始遍历数组。

  • 如果数据之前已经被缓存在数组中了,我们遍历得到这个数据,并将其从原来位置删除,然后插入数组的顶部。

思考

如果字符串是通过单链表来存储的,那么该如何判断是一个回文串呢?相应的时间空间复杂度是多少呢?

你可能感兴趣的:(数据结构与算法,缓存,算法)