分析Cache的运行机制和设计理念

随着双核时代的到来，CPU的Cache越来越受到DIYer的重视。本文吸收了其它高手发表的文章观点，浅谈一下Cache的运行和设计原理。

1. CPU Cache简介

Cache其是就是CPU和内存之间的一个中转站。由于目前CPU的频率（速度）已经大大超过内存，往往CPU会为了读取或存储数据白白浪费几十个时钟周期。这造成了巨大的资源浪费。于是Cache的设计思想被提上日程，几经实验修改后，逐渐形成了我们现在所能够看到的Cache架构。

在现代CPU设计中，设计师们要解决的最主要问题，就是找到一个在CPU和内存之间平衡的均点。Cache作为CPU--->内存的中转站，在其中发挥了巨大的作用。CPU在请求数据或指令时，除了常规的在内存中进行查找外，还会在Cache中进行查找。一旦命中，就可以直接从Cache中读取，节约大量时间。正因为如此，Cache在现代CPU中显得越来越重要。

2. Cache的实现原理

众所周知，Cache属于SRAM（Satic Random Access Memory），它利用晶体管的逻辑开关状态来存取数据。也正因为如此，SRAM内部的电路构造比起常见的DRAM（Dynamic Random Memory）要复杂得多，导致了成本的巨增。这也是SRAM不能普及的一个重要原因。

Cache在计算机存储系统中没有编配固定的地址，这样程序员在写程序时就不用考虑指令是运行在内存中还是Cache中，Cache对于计算机上层来说是完全透明的。

CPU在读取数据时，会首先向内存和Cache都发送一个查找指令。如果所需要的数据在Cache中（命中），则直接从Cache读取数据，以节约时间和资源。CPU对Cache的搜索叫做Tag search，即通过Cache中的CAM（Content Addressed Memory）对希望得到的Tag数据进行搜索。CAM是一种存储芯片，延迟很低，常用于网络设备中用作路由选择。

CPU进行Tag search的过程是这样的：在Cache中数据或指令是以行为单位存储的，一行又包含了很多字。如现在主流的设计是一行包含64Byte。每一行拥有一个Tag。因此，假设CPU需要一个标为Tag 1的行中的数据，它会通过CAM对Cache中的行进行查找，一旦找到相同Tag的行，就对其中的数据进行读取。

在现代计算机中，虽然Cache的容量一直在增涨，但现在桌面处理器中Cache最大的也不过4MB，设计师们是如何保证在这小小的Cache中保存的数据或指令就一定是CPU需要的呢？这就要利用到CPU运行时的两个基本局限性：时间局限性和空间局限性。

所谓时间局限性，是指CPU在某一时刻使用到的数据或指令，在下一时刻也会被重复利用。比如3D游戏中，同一场景会在不同时间被渲染多次，如果在第一次渲染中Cache存储了相关指令、数据，那么在下一次需要重复渲染时，就能够直接从Cache中读取相关内容。

而空间局限性，指的是CPU在读取某一地址的数据时，也有可能会用到该地址附近的数据。也就是说，CPU需要的数据在很多时候是连续的。例如在听歌或看电影时，数据流总是连续的（正常播放状态下）。这样的应用对于CPU来说是很有利的，数据预读取单元也能够发挥最大作用。

Cache正是利用了上述两个局限性，得已实现并工作。设计师们能够充分利用这两个局限，在容量较小的Cache中存入CPU在将来某时刻需要的内容。需要指出的是，很多程序在执行指令或数据时，所呈现出来的局限性是不同的。有可能执行指令的时候呈现出时间局限性，而数据呈现出空间局限性，因此设计师们把L1 Cache分成了Instruction Cache（指令缓存）和Data Cache（数据缓存）。

3. Cache的运行原理

前面已经说过，Cache的数据存储是以行（Line）为单位的，每一行又包含64Byte。行是存储在“框架”（Block frame）这种数据容器中的，而框架则直接与内存相对应。很明显，Cache中可能包含数个框架。那么这些Cache框架是怎么与内存相对应相联系的呢？有三种办法。

第一种方法叫完全相联法。即内存中的数据可以存储在任何Cache框架中，同一数据也可以存储在不同的框架中。这样数据的存储相当灵活，CPU在查找时也很方便：只需在框架中对比找出需要的Tag行，即实现命中，显著的提升了命中率。然而这样做的缺陷也很明显：对于容量较大的Cache来说，CPU需要在成百的框架中查找需要的Tag行，延迟大大增加。因此这种设计方式只适用于容量较小的Cache。



上图来源于穆介的碎碎念

由于完全相联法的这种局限性，设计师们很快提出了另一种旨在降低延迟的组织方式：直接映象法。和完全相联不同，在直接映象中内存会将数据存入的Cache框架地址“记住”，以后再次存储时就只能使用该框架。这样做的好处是使CPU只需要进行一次Tag search，在以后的读取操作中就可以直接找到所需Tag行所在的框架，从而达到降低延迟的目的。

而至于内存会将数据存入Cache的哪个框架中，这有个算法——块地址与整个框架数的同余。我们举个简单的例子来看，有个1K的缓存，块大小为64字节，则总共有16个缓存块，也就是有16个框架，那在内存中首地址为12480的内存块应该保存在缓存的哪个框架中呢？12480/64=195，195mod16=3,则它应该放入第4个框架中。这样一来，内存中的数据能很快的读取到缓存中的某个块中，CPU也能很快的在这个块中找到所要的数据，这样就省下了对比各个框架的时间，自然延迟就小了，但是，如果第4个框架中装入了内存块195的数据，而其它同余依然是3的35，51，67等这些块就不能装入了，这样，当CPU需要35，51，67这些块的时候，就会发生冲突（collision），导致出现Cache miss的情况，大大的降低了命中率。



上图及其算法分析均来源于穆介的碎碎念

直接映象法和完全相联法都只解决了Cache运行问题的一个方面。这以后设计师们又设计了另一种综合前两者优点的方法----路组相联法。先将Cache分成不同的组，每个组中放入不同的框架。内存数据的存储对于组来说是固定的---这就有效控制了延迟。而每个框架中的行又按照完全相联的方法，灵活存储---这又提高了命中率。显然，一组中放入的框架越少，那么它的命中率和延迟都能够控制得越好。组中的框架称为“路”，有几个框架就叫做几路。



上图来自穆介的碎碎念

路组相联法很好的解决了命中率和延迟之间的矛盾，因此在现代Cache中得到广泛的推广应用。

4. Cache的写入策略

前面说了这么多，似乎都在谈Cache的读取，而忘了它的写入是怎么样的？这是因为在一个常见的应用程序中，其50%的指令是与数据存取相关的，而其中又有近30%的指令与读取有关。也就是说，CPU在运行中进行的读取操作频率要远远大于写入操作。所以本文用了大量篇幅来说明Cache的读取，而它的写入则相关简单，依赖于三种写入策略：

写回法：当CPU更新Cache时，并不同时更新内存中的相应数据。这种方法减少了访问内存的次数，缩短了时间。但在保持与内存内容的一致性上存在在隐患，并且使用写回法，必须为每个缓存块设置一个修改位，来反映此块是否被CPU修改过。

全写法：和写回法相反，当Cache数据更新时，也同时更新内存数据。Cache不用设置修改位或相应的判断器。这种方法的好处是，当Cache命中时，由于缓存和内存是同时写入的，所以可以很好的保持缓存和内存内容的一致性，但缺点也很明显，由于每次写入操作都要更新所有的存储体，如果一次有大量的数据要更新，就要占用大量的内存带宽，而内存带宽本来就不宽裕，如果写操作占用太多带宽的话，那主要的读操作就会受到比较大的影响。

写一次法：这是一种基于上面两种方法的写策略，它的特点是，除了第一次更新Cache的时候要同时更新内存，其它时候都和写回法一样，只修改Cache。这就在内存一致性和延迟中找到了一个较好的平衡。

5. Cache的替换策略

所谓替换策略，是指Cache中数据的更新方法。无论如何，Cache的容量还是比较小的。要保证在这样的容量下其中的数据是CPU需要的，就需要不停地对Cache进行更新，摈弃不需要的旧数据，加入新内容。

目前常见的Cache替换策略有三种，分别是：

先进先出（First In First Out，FIFO），即替换最早进入Cache的数据。这种算法在早期的Cache里使用较多，那时候的Cache的容量还很小，数据在Cache的时间都不会太久，经常是CPU一用完就不得不被替换下来，以保证CPU所需要的其它数据能在Cache中找到。但这样命中率也会降低，因为这种算法所依据的条件是数据在Cache中的时间，而不是其在Cache中的使用情况。

最不经常使用（Least Frequency Used，LFU），即替换被CPU访问次数最少的行。LFU算法是将每个行设置计数器，起始为0，每被CPU访问一次，就加1，当需要替换时，找到那个计数最小的替换出来，同时将其它行的计数置0。这种算法利用了时间局限性原理，但是每次替换完都把其它行置0，使得把这种局限性的时间限定在了两次替换之间的时间间隔内。由于替换太频繁，让这时间间隔太短了，并不能完全反映出CPU近期的访问情况。

近期最少使用（Least Recently Used，LRU），即替换在近段时间里，被CPU访问次数最少的行，它是LFU的拓宽版本。其原理是在每个行中设置一个计数器，哪一行被CPU访问，则这行置0，其它增1，在一段时间内，如此循环，待到要替换时，把计数值最大的替换出去。这种算法相当于延长了替换时间，从而更能本质地反应行的使用情况。有一点要说明的是，有时候行被替换出，并不代表它一定用不到了，而是Cache容量不够了。这种算法是目前最优秀的，大部分的Cache的替换策略都采用这种算法。

6. 实例分析---NetBurst与K7/8 Cache设计上的一些异同

之所以拿Intel放弃的NetBurst架构而非现在最新的Core架构来做比较，是因为我觉得NetBurst中的Cache设计十分先进，在一定呈度上代表了未来的发展趋势。虽然这次实验失败了，但还是可以拿出来做一些简单的分析。

用CPU-Z等软件来查看NetBurst架构P4的信息，会发现其L1和其它CPU有些不一样。它没有了以前的“Instruction Cache”，取而代之的是一个称为“Trace Cache”的东西。并且其容量也不再是KByte，而是μOps。这是怎么回事呢？

先来看看CPU运行程序时的基本操作流程：首先CPU会根据IPR（Instruction Pointer Rigster）提供的地址取得指令，然后对指令进行解码，得出操作地址数和操作码。再由操作地址数获得操作数，并由ALU结合操作码计算出操作数，最后保存在寄存器中。这其中最为复杂的就是解码操作。现代CPU为了提高指令执行效率，借签了RISC的设计理念，将不同的X86指令解码为长短统一、内容简单的微指令并以超标量的方式执行。

在以前的CPU设计中，一般是等到CPU需要执行某指令时，才对其进行解码。在引入了分支预测后，就可以预先读取CPU可能用到的指令，并解码，以备CPU需要时直接调用。这就是Trace Cache的作用。它可以将分支预测得到的X86指令事先解码为微指令并存储在一个被称为回溯片断（trace segment）的逻辑组中，并且这些解码后的指令非常灵活，它能够在进入trace segment前决定是否直接进入流水线来执行。当trace segment中的微操作指令执行后，trace cache就会马上变成“执行模式（execute mode）”，这种模式下，微指令就会依据预测时的顺序来被CPU提取，并执行。这样一来，Trace cache存储的指令就是CPU可以直接执行的微操作，并且由于是存放在L1中，使得CPU每次需要时都可以马上取得译码好的微指令，再加上超低的延迟可以让CPU执行频率迅速增大，使CPU的主频达到前所未有的高度。还有一个重要的好处就是可以让CPU本身的X86解码单元减少，简化CPU结构。总的来说，Trace Cache引入的最终目的就是为了减少X86指令解码器，缓解长流水线出现预测失误所带来的性能损失，并代替原始的L1指令缓存。

由于Intel一直没有公布Trace Cache的具体大小，只是透露其可以装入12条微指令，因此其单位是12μOps。

然而，这种大胆的Cache设计最大的弊端在于，一旦分支预测出现错误，后果将是极其严重的。因此Intel希望借助于较大的L2来缓减预测出错引起的性能损失，这就要求L2拥有极高的命中率。因此Intel在NetBurst架构中采用了8路组相联（其命中率可以达到完全相联的水平），容量为2MB的L2，并提供256b带宽，以确保其低延迟。但从实际效果来看，显然由于流水线级别的增加给分支预测带来了不可估计的难度，即使有2MB L2坐镇，也难保P4的“高频低能”。

对于K7/K8来说，其Cache设计同Intel也有相似之处。AMD历来重视L1，64K Ins+64K Dat，2路组相联的设计让AMD拥有高命中率和低延迟的L1。然而在Instrution Cache中AMD的设计思路又与其它CPU有所不同。首先其Ins中并不存储传统的X86指令，而是存储着分支预测出来的X86指令的信息。再根据这些信息将指令解码成1~2条“宏操作”来执行。由于AMD CPU采用了3条流水线的超标量结构，因此其可以保证同时执行6条这样的宏操作。显然，相比之下AMD CPU的指令执行效率要优于Intel，因此就可以解释为什么AMD 2.4G可以打败Intel 3.2G了。然而从这样的L1设计来看，似乎和Intel有些异曲同工之妙。

对于L2，AMD历来只有很少的256K或512K。这是由于AMD的Cache设计思想所致。在一般的Cache中，下级Cache总是要保留一个上级Cache的映象，即L1中的数据在L2中也能够找到。L2在L3中能够找到相同数据。然而AMD并没有这样做，它的L2中保存的数据都是L1中替换下来的，以保证CPU在下次使用中能够在L2中找到。因此，AMD的Cache结构呈现出L1+L2的“怪异”现像，它的L2对于整体性能并不起决定性作用。Sempron 2600+（128K L2）同2800+（256K L2）性能相同，就是这个原因。