CHI基本概念介绍

一、CHI特点

1.1 CHI架构

基于CHI协议的系统架构可以包含独立CPU、处理器簇、图形处理器、memory控制器、I/O桥、PCIe子系统和CHI互联线，该架构主要有以下关键特性：

• 架构扩展方便；
• 独立的分层实现，包括协议层、网络层和链路层，各自具有清楚不同的功能；
• 基于包传输；
• HN（Home Node）协调所有的传输请求，包括snoop请求、访问cache和memory；
• 支持64Byte的一致性粒度、Snoop Filter和Directory、MESI和MOESI cache模型、增加Partial和Empty cache状态；
• 支持Retry机制来管理协议层资源；
• 支持端到端的Qos（Quality of Service）；
• 可配置的数据宽度来满足系统需求；
• 支持ARM TrustZone；
• 低功耗信号，可以使能flit级别门控、组件之间的建断链来支持时钟门控和电源门控、协议层的活动信号来控制电源和时钟；

1.2 CHI层次

CHI层次按功能可以划分为：协议层（Protocal）、网络层（Network）、链路层（Link）。

Layer	Communication granularity	Primary function
Protocal	transaction	协议层是CHI架构里的最顶层，其功能有：1、在协议节点产生并处理请求与响应；2、定义协议节点允许的cache状态和状态转换；3、定义每个请求类型的传输流程；4、管理协议层的流控；
Network	packet	网络层功能有：1、打包协议层信息；2、确定并增加源节点和目的节点的ID到packet中，确保这些packets能正确在互联线上路由；
Link	flit	链路层功能有：1、提供Network devices之间的流控；2、管理链路通道以提供跨网络的无死锁切换

二、术语

Terminology	Explanation
Transaction	一个transaction执行一个单独的操作，如一个transaction可以是读memory或写memory
Message	协议层术语，用于定义两个组件之间交换信息的粒度，如Request/Data response/Snoop request，一个数据响应message可能由多个packets组成
Packet	端到端跨越interconnect的传输粒度，一个message可能由一个或多个packets组成，每个packet包含有源和目的节点的ID来保证在interconnect上独立路由
Flit	最小流控单位，一个packet可以由一个或多个flits组成，对于同一个packet的所有flits在interconnect上传输必须遵循同样的路径，对于CHI，所有的packets都是由一个flit组成
Phit	物理层传输单位，一个flit可以由一个或多个phits组成，phit定义为两相邻网络设备之间的一个传输，对于CHI，所有的flits都是由一个phit组成
POS	Point of Serialization，位于ICN内，用于Requests之间的保序
POC	Point of Coherence，一致性节点，用于保证所有访问同一个memory地址的请求都可以得到同一份数据
Downstream cache	downstream cache是以RN的视角定义的，RN的downstream cache可以通过CHI请求访问
Requester	Requester可以指独立产生原始transactions的组件（master），也可以指ICN
Completer	Completer可以指ICN，也可以是SN
Master	通常是一个系统中最上游的agent
Slave	通常是一个系统中最下游的agent
Endpoint	slave的另一个名字，指的是一个transaction的最终目的地
Protocol Credit	一个P-credit用于保证completer有能力接收一个transaction
Link layer Credit	一个L-credit用于保证另一边的link可以接受不了一个flit
ICN	interconnect的简称，用于协议节点之间的通讯的CHI传输机构，ICN可能也包含协议节点，如HN和MN
IPA	intermediate Physical Address，中间物理地址，在两级地址系统中，第一级产生IPA，第二级产生物理地址
RN	产生协议transaction，包含读和写
HN	位于ICN，用于接收来自RN的协议transaction，完成相应的一致性操作并返回一个响应
SN	用于接收来自HN的请求，完成相应的操作并返回一个响应
MN	位于ICN，用于接收来自RN的DVM操作，完成相应的操作并返回一个响应
IO Coherent node	IO一致性节点产生的snoop请求不会导致数据被cache，因此IO一致性节点也不会接收到任何snoop请求
Write-Invalidate protocol	该协议是指当RN往一个共享地址写数据时，必须先把所有共享的数据备份都无效掉，然后再进行写操作，CHI采用的就是该协议
In a timely manner	协议中没有定义在某个绝对的时间后，某件事必须发生，但是及时发生可以使系统效率更高
Don’t Care	表示该域段可以设置为任何值，包括非法值和保留值，任何组件收到的包中如果包含设为Don’t care的域段，都必须忽略该域段
Inapplicable	表示该域段值不会用于信息处理

三、传输请求类型

CHI issueC支持的传输类型可以归类如下，每个命令的详细解释可以看CHI-issueC 142页：
Read request：1. Requester会获得一个数据响应；2. 会导致数据在系统其它agents之间的搬移；3. 会导致Request中cacheline状态的改变；4. 会导致系统中其它Requesters的cacheline状态改变，具体有如下这些request：
ReadNoSnp、ReadOnce、ReadOnceCleanInvalid、ReadOnceMakeInvalid、ReadClean、ReadNotSharedDirty、ReadShared、ReadUnique；
Dataless request：1. Requester不会获得一个数据响应；2. 会导致数据在系统其它agents之间的搬移；3. 会导致Request中cacheline状态的改变；4. 会导致系统中其它Requesters的cacheline状态改变，具体有如下这些request：
CleanUnique、MakeUnique、Evict、StashOnceUnique、StashOnceShared、CleanShared、CleanSharedPersist、CleanInvalid、MakeInvalid；
Write request：1. Requester会提供一个数据响应；2. 会导致数据在系统其它agents之间的搬移；3. 会导致Request中cacheline状态的改变；4. 会导致系统中其它Requesters的cacheline状态改变，具体有如下这些request：
WriteNoSnpPtl、WriteNoSnpFull、WriteUniquePtl、WriteUniqueFull、WriteUniquePtlStash、WriteUniqueFullStash、WriteBackPtl、WriteBackFull、WriteCleanFull、WriteEvictFull；
Atomic request：1. Requester会提供一个数据响应；2. 在有些命令中，Requester会得到一份数据响应；3. 会导致数据在系统其它agents之间的搬移；4. 会导致Request中cacheline状态的改变；5. 会导致系统中其它Requesters的cacheline状态改变，具体有如下这些request：
AtomicStore、AtomicLoad、AtomicSwap、AtomicCompare；
Other request：1. 不会导致系统中任何的数据搬移；2. 用于帮助Distributed Virtual Memory管理；3. 用于读请求提前去给memory controller热身；4. 用于返回P-Credit，具体有如下这些request：
DVMOp、PrefetchTgt、PCrdReturn；
Snoop request：ICN产生snoop request的情况：1. 对来自RN request的响应；2. 内部cache或snoop filter维护操作。Snoop transaction(除了SnpDVMOp)是在RN-F的cached data上操作。SnpDVMOp transaction是在target node上执行DVM维护操作；3. CHI协议允许对Non-snoopable address区间进行snoop；具体有如下这些request：
SnpOnceFwd、SnpOnce、SnpStashUnique、SnpStashShared、SnpCleanFwd、SnpClean、SnpNotSHaredDirtyFwd、SnpNotShareDirty、SnpSharedFwd、SnpShared、SnpUniqueFwd、SnpUnique、SnpUniqueStash、SnpCleanShared、SnpCleanInvalid、SnpMakeInvalid、SnpMakeInvalidStash、SnpDVMOp；

注意：
1、对相同地址，只有前面所有的transactions都已经完成之后，CMO操作才能发送到ICN上；
2、对相同地址，只有前面所有CMO操作都已经完成之后，transaction(除了Evict、WriteEvictFull和PrefetchTgt)才能发送到ICN上；
3、ReadNoSn和ReadOnce可以将读到的数据保留在local cache，但该份数据不在保持一致性；
4、ReadOnceCleanInvalid相对ReadOnce的优点是如果cacheline的数据在近期不会使用，该命令可以将cacheline数据刷到memory去，从而提高cache利用率；ReadOnceMakeInvalid相对ReadOnce的优点是如果cacheline的数据以后都不会使用，该命令可以将cacheline的数据失效掉，从而提高cache利用率且减少不必须要的WriteBack到memory操作。但上述两者命令的invalidation都只是hint，它们的完成并不保证所有cache中的该cacheline拷贝都已经移除了，因此它们不能用于替代CMO命令；
5、CMO操作的ExpCompAck域不能置位，即传输流程中不包含CompAck响应；
6、CopyBack transaction只是将coherent data从cache搬移到下一级cache或memory中，不需要去snooping系统中的其它agents；

传输响应类型将在《CHI协议层》博客文中讲解。

四、一致性实现模型

• 硬件一致性使得共享memory空间的系统组件不需要执行软件缓存保持来保证cache之间的一致性；
• 如果两个组件往相同地址的memory发起写操作，这些操作可以被所有的组件以相同的顺序观察到，那么这个memory区域就是一致性的；

4.1 Coherency model

图1所示为包含三个master组件的一致性系统，每个master组件包含一份loacl cache和一致性协议节点。CHI协议允许memory数据存放在一处或多处master cache当中。

图1 coherency model

• 当需要存数据时，先把所有其它masters的数据备份失效掉，这样一致性协议可以使得所有的masters获取到任何地址的正确的数据值。在存储完成后，其它masters可以获取到新的数据到自己local cache；
• CHI协议允许（不强求）主存的数据不是实时更新，只有在所有master的cache都不需要该数据备份时，才把数据刷新到主存中；
• 协议使得master可以确定一份cacheline是否是唯一的或者存在多份拷贝。如果是唯一的，master可以直接改变它的值不需要知会系统中其它masters，如果不是唯一的，master必须使用恰当的transaction知会其它masters；
• 所有的一致性是以cacheline粒度对齐，cacheline在64bytes对齐存储系统中大小为64bytes；

4.2 Cache state model

为了使得一个组件在访问cache line时，可以确定是否该执行某操作，CHI协议定义了cache state。每个cache state基于如下的cache line特性：

cache state	cache line characteristics
Valid，Invalid	Valid表示该cache line存在于cache中，Invalid表示该cache line没有放在cache中
Unique，Shared	Unique表示cache line单独存放于该cache中，Shared表示其它cache中也可能存在该cache line，但不保证一定有
Clean，Dirty	Clean表示该cache没有责任更新主存数据，Dirty表示该cache line数据相对于主存已经发生了改变，该cache必须确保最终主存的数据被更新
Full，Partial，Empty	Full表示cacheline全部byte有效，Partial表示可能只有部分byte有效，不是全部有效；Empty表示没有byte有效；

如下图2所示为7种cache state model，一个有效的cache state名字不是Partial或Empty，而是Full。UC、UD、SC和SD全都是Full cache line状态。

图2 Cache state model
协议节点访问cacheline后所需要执行的动作是根据cacheline state决定的，CHI协议规定的每个cacheline状态如下，一个cache允许只实现如下这些cache state的子集：

• I：Invalid，该cacheline的数据不在当前cache中；
• UC：Unique Clean，该cacheline的数据只在当前cache中，且和memory的数据一致，可以不知会其它RN就对该cacheline的数据进行修改。在收到snoop请求时，该cacheline不需要返回数据给HN或fwd data给RN；
• UCE：Unique Clean Empty，该cacheline的数据只在当前cache中，但是所有的数据都是无效的，可以不知会其它RN就对该cacheline的数据进行修改。在收到snoop请求时，该cacheline必须不能返回数据给HN或fwd data给RN；
• UD：Unique Dirty，该cacheline的数据只在当前cache中，且和memory的数据不一致，已经被修改过了；如果该cacheline的数据不用了，那需要写回到下级cache或memory；可以不知会其它RN就对该cacheline的数据进行修改。在收到snoop请求时，该cacheline必须返回数据给HN或fwd data给RN；
• UDP：Unique Dirty Partial，该cacheline的数据只在当前cache中，且和memory的数据不一致，部分被修改且有效；如果该cacheline的数据不用了，那需要和下级cache或memory的数据组成一个完成有效的cacheline；可以不知会其它RN就对该cacheline的数据进行修改。在收到snoop请求时，该cacheline必须返回数据给HN，但不能直接将数据fwd给Requester；
• SC：Shared Clean，其它cache可能也存在该cacheline的拷贝；该cacheline可能已经被修改了；当不需要该cacheline数据时，cache没有义务必须将该数据写回到memory；必须对其它cache的该cacheline进行无效后，获得U态才能将该cacheline进行改写；在收到snoop请求时，该cacheline在RetToSrc没有置位时不需要返回数据，如果RetToSrc置位，则需要返回数据，可以直接fwd数据给Requester；
• SD：Shared Dirty，其它cache可能也存在该cacheline的拷贝；该cacheline相对于memory已经被修改了；当该cacheline不需要的时候，cache需要将它写回下游cache或memory；必须对其它cache的该cacheline进行无效后，获得U态后才能将该cacheline进行改写。在收到snoop请求时，该cacheline必须返回数据给HN和fwd data给Requester；

UCE态的获得：有两种情况UCE态发生，a. Requester故意产生UCE态，在Requester对cacheline写数据前，为了节省系统带宽，Requester获得UCE态而不是UC，就可以对该cacheline进行写操作；b. Request切换到UCE态，如果Requester已经有该cacheline的拷贝，且正在申请获取写权限，但是在获得写权限之前该数据已经被失效掉了，这样会使得该cacheline变为UCE态。
UDP态的获得：UDP态获得的前提是当前cacheline为UCE态，然后Request对齐进行partial写，这样就产生了UDP态。

五、组件分类命名

根据CHI协议节点类型，可以将组件分类命名如下：
RN：Request Node，产生协议transactions，包含读和写，可以进一步分类如下：

component	classification	Functions
RN	RN-F	全一致性请求节点：1、包含硬件一致性cache；2、允许产生所有协议定义的transactions；3、支持所有的snoop transactions
	RN-D	IO一致性请求节点，支持DVM操作：1、不包含硬件一致性cache；2、可以接收DVM操作；3、可以产生协议定义的一部分transactions
	RN-I	IO一致性请求节点：1、不包含硬件一致性cache；2、不能接受DVM操作；3、可以产生一部分协议定义的transactions；4、不要求具有snoop功能

HN：Home Node，位于ICN内，用于接收来自RN产生的协议transactions；

component	classification	Functions
HN	HN-F	用于接收所有的请求操作，除了DVM操作：1、POC点，通过监听RN-Fs，管理各Master一致性，完成所有的snoop响应后，发送一个响应给发出请求的RN；2、PoS点，用于管理多个memory请求的顺序；3、可能包含目录或监听过滤，以此来减少大量的snoop request
	HN-I	处理有限的一部分协议定义的Request请求：1、PoS点，管理访问IO subsystem的顺序；2、不包含PoC点，也不具备处理snoop请求
	MN	用于接收来自RN发送的DVM操作，完成相应的操作，并返回一个响应

SN：Slave Node，用于接收来自HN的请求，完成相应的操作并返回一个响应；

component	classification	Functions
SN	SN-F	指的是Normal memory，可以处理Non-snoop读写请求、atomic请求、以及这些命令的其它形式、CMO请求
	SN-I	指的是Peripheral或Normal Memory，可以处理Non-snoop读写、atomic操作、以及这些命令的其它形式、CMO请求

图3所示为各种协议节点在ICN上的连接示意图：

图3 协议节点图

六、读数据来源

在基于CHI的系统中，读请求的数据可以来自不同的地方，如下图4所示，这些源有：

• Cache within ICN
• Slave Node
• Peer RN-F

图4 读请求可能的数据来源
对于RN-F或SN返回的读数据，可以发送给HN，HN再转发数据给原始的Requester；也可以直接跳过HN，返回数据给原始Requester，这样可以减少读数据的latency。有以下两种直接返回数据方式：

• Direct Memory Transfer（DMT）：SN直接返回数据给原始的Requester；
• Direct Cache Transfer（DCT）：Peer RN-F字节返回数据给原始Requester；
  在DCT中，数据提供者需要通知HN它已经将数据发给原始Request了，在某些情况下，数据提供者也必须发送一份拷贝数据给HN。