系统结构期末复习（三）流水线技术

目录

1. 流水线的基本概念
2. 流水线的性能指标
3. 流水线的相关与冲突
4. 流水线的实现
5. 向量处理机

---

1. 流水线的基本概念

各个主要部件的功能

相关信息	运算器	存储器	控制器
功能	算术、逻辑运算	存放指令和数据；提供外界对指令和数据的访问	控制指令自动的按照规定的动作有序的执行
特点	操作数进入运算器；经运算后，操作结果输出到累加器	指令按顺序一条一条的存放数据，按序一个一个存放，按地址访问	自动：PC自动计数；按规定动作：提取指令的操作码；发出控制信号：通过译码部件形成控制信号，有秩序执行规定动作的时序控制
对外接口	输入：操作数；输出：操作结果	WAR：内存地址寄存器；WDR：内存数据寄存器	输出：指令地址，控制信号；输入：指令

1.1 什么是流水线

1. 流水线技术：把一个重复的过程分解成为若干个子过程，每个子过程由专门的功能部件来实现。把多个处理过程在时间上错开，依次通过各功能段，这样每个子过程就可以和其他子过程并行执行。
   【】不是一个过程的多个子过程并行，而是每一个类似的过程都被分为相同的子过程，不同的过程的子过程并行
2. 流水线的级或段：流水线中的每个子过程及其功能部件（段与段相互链接形成流水线）
3. 流水线的深度：流水线的段数
4. 指令流水线：把流水线技术应用与指令的执行过程（把指令的解释过程分解为分析和执行两个子过程，并让两个过程分别用独立的分析部件和执行部件来实现。理想情况下速度提高1倍）
   
5. 运算操作流水线（部件级流水线）：把流水线技术应用于运算的执行过程
   
6. 流水线的工作过程常用时空图的方法来描述。
   

• 横轴：时间；纵轴：级/段
• 分析流水线效率的时候比较直观
• 一共会出现3个时空图，这是第一个
• 数字表示第几个任务，因此时空图明确表示出：第几个任务在第几个时间片处于流水线的第几段

7. 流水线技术的特点：（5‘）
   • 流水线把一个处理过程分解为若干个子过程，每个子过程由一个专门的功能部件来实现
   • 流水线中各段时间应该尽可能相等。否则将引起流水线堵塞、断流，因为时间长的段将成为流水线的瓶颈
   • 流水线每一个功能部件的后面都要有一个缓冲寄存器（锁存器），称为流水线寄存器，其作用是在相邻的两段之间传送数据，以保证后面要用到的数据，并把各段的处理工作相互隔离。
   • 流水线技术适合于大量重复的时序过程
   • 流水线需要有通过时间（第一个任务从进入流水线到流出结果到时间段）和排空时间（最后一个任务进入流水线到流出结果的时间段）。经过通过时间后，流水线进入满载工作状态，整条流水线的效率才能够得到充分发挥。

流水线技术特点要把握的3个问题
1. 为什么各段时间相等？
2. 流水线寄存器的作用？
3. 流水线对一个过程有什么影响？

1.2 流水线的分类

单、多功能，动静态

单功能、多功能流水线，静态、动态流水线分类要点
1. 多功能流水线分静态/动态，单功能部分
2. 注意静态流水线，一种功能完成之后流水线的各个部件才能重组
3. 动态只要部件空出来就可以重组
4. 要注意动态、静态流水线的对比

上图所示的定点乘法可以提前多少取决于任务的流动情况，要保证不能在公用段发生冲突。

• 对于静态流水线来说，只有当输入的是一串相同的运算任务时，流水线的效率才能得到充分发挥，如果交替执行不同的运算任务，效率会降低到和顺序处理方式一样
• 目前绝大多数的流水线是静态流水线

线性和非线性，乱序和顺序

• 流水线处理机：指令执行部件中采用了流水线的处理机称为流水线处理机
• 标量处理机：处理机不具有向量数据表示（也可以处理向量只不过需要loop）
• 向量处理机：具有向量数据表示和向量指令的处理机（向量数据表示和流水技术的结合）
• 向量特别适合流水的原因：每个位置的数据运算相同；每个运算之间无关联，便于流水；流水中不会断流。
  

---

2. 流水线的性能指标

2.1 吞吐率

2.1.1 吞吐率的定义

单位时间内流水线完成的任务数量或输出结果的数量：

2.1.2 各段时间均相等的流水线

任务越多流水线的吞吐率越高，如果任务数量足够多，那么每隔1/deta(t)就可以完成一个任务。

流水线的实际吞吐率要小于最大吞吐率：它除了和每个段的时间有关，还与流水线的段数k，输入到流水线的任务等有关，只有当n远大于k时，二者才相等。

2.1.3 各段时间不完全相等的流水线

流水线的最大吞吐率与实际吞吐率由最长的那个段决定，这个段就成了整个流水线的瓶颈，这时瓶颈段一直处于忙碌状态，而其余各段有许多时间时空闲的，硬件使用效率低。

2.1.4 解决流水线常用问题的基本方法

1. 细分瓶颈段
   
2. 重复设置瓶颈段
   由于结构等方面的原因无法再细分瓶颈段时，可以通过重复设置瓶颈段的方法来消除瓶颈。缺点：控制逻辑比较复杂，所需硬件增加。
   

2.2 加速比

重要知识点	把握要点
加速比的定义	此处的加速比值的是使用流水线和不使用流水线相比，加速了多少
实际加速比	如果只完成一个任务，加速比是多少
最大加速比	什么情况下加速比会接近最大
各段时间相等的加速比	自己求一下不完全相等的加速比
各段时间不等的加速比	采用两种改进方法改进各段时间不完全相等的流水线后，加速比是多少
全相等的流水线加速比	正常情况下，假设n段加速比1<=sp<=n

可以看出流水线的段数越多越好，但是也要有一个限度，因为如果太多的话，流水线之间寄存器分到的时间如果等于每段流水线的时间，那流水就没啥用了。

2.3 效率

重要知识点	要点
效率的定义	效率从流水线的时空图看，是阴影部分的面积比上整个的面积
实际效率	如果只完成一个任务，效率是多少
最大效率	什么情况下，效率接近最大？
各段时间相等的流水线效率	自己求一下各段时间不完全相等的效率
各段时间不完全相等的流水线效率	采用两种改进方法改进隔断时间不完全相等的流水线之后，效率是多少

效率：流水线中的设备实际使用时间与整个运行时间的比值，即流水线利用率
⚠️因为流水线有通过时间和排空时间，所以在连续完成n个任务的时间内，各段并不是满负荷的工作。

2.4 流水线性能分析举例

例一

⚠️静态流水线中，前一种功能的最后一条指令排空后，才能切换流水线，动态多功能指令不用
⚠️从例题中是否能总结一下：影响流水线性能的因素
⚠️注意算法设计，使得任务进入流水线中减少冲突，减少切换功能
实现步骤：

1. 首先应该选择适合于流水线的算法

2. 其次画出完成该计算的时空图
   

3. 注意：这里加法分6段流水是有原因的，由题干中他是按照图3.4所示的静态流水线上进行的，这里的加法包括：输入、求阶差、对阶、相加、规格化、输出，这里的乘法包括：输入、相乘、累加、输出

该流水线效率低的原因：

1. 多功能流水线在做某一种运算的时候，总有一些段是空闲的
2. 静态流水线在进行功能切换时，要等前一种运算全部流出流水线后才能进行后面的运算
3. 运算之间存在关联，后面有些运算要用到前面运算的结果，相关问题
4. 流水线的工作过程有建立和排空部分

例二

⚠️同样也是先进行乘法操作，然后再进行各个结果的加法操作，在这个过程中不同的是在A、B计算出来之后就可以直接进入流水线，不过这里要在C的后面（根据最初安排的原则是乘法先做）。

2.5 流水线设计中的若干问题

1. 瓶颈问题
   计算机的时钟周期取决于这个瓶颈段的延迟时间，因此在设计流水线的时候要尽可能使各段时间相等。
2. 流水线的额外开销
   流水寄存器延迟和时钟偏移开销
   流水寄存器延迟：流水寄存器需要建立时间（触发写操作的时钟信号到达之前寄存器输入必须保持稳定的时间）和传输延迟（时钟信号到达后寄存器输出可用的时间）
   时钟偏移开销：流水线中时钟到达各流水寄存器的最大时间差值（即时钟到达各流水寄存器的时间不是完全相同的）
3. 冲突问题
   后面的计算要用到前面的结果，指令之间存在关联就需要相互等待，引起流水线的停顿。
4. 为何段数不是越多越好？
   主要还是和开销有关
   

---

3. 流水线的相关与冲突

• 重要知识点：
  1. 五个阶段（IF、ID、EX、MEM、WB)
  2. 各段功能
  3. 时空图
• 一些注意点：
  1. 读寄存器取操作数是在ID段
  2. EX阶段做的事情都是用ALU计算
  3. WB阶段是写回寄存器
  4. 只用load和store指令进行数据访存
     
     静态方法是对分支的处理在程序执行的过程中始终是不变的。

3.1 一个经典的5段流水线

采用流水线的方式实现上面的步骤：


这种时空图直观地展现了指令的重叠执行情况

这个更直观的展现了部件重叠的情况。流水线可以看成是按照时间序列错开的数据通路序列。

• 采用流水线方式实现时要注意的问题：（4‘）
  1. 首先要保证不会在同一时钟周期要求同一个功能段做两件不同的工作（不能要求ALU同时做有效地址计算和算术运算）
  2. 避免IF段的访存（取指令）与MEM段的访存（读/写数据）发生冲突，必须采用分离指令存储器和数据存储器，一般采用分离的指令Cache和数据Cache。【⚠️如果这里的时钟周期与前面非流水方式下的时钟周期相同，那么存储器系统的带宽必须提高到原来的5倍，这代价不小啊】
  3. ID段要对通用寄存器组进行读操作，而WB段要对通用寄存器组进行写操作，为了解决对同一通用寄存器的访问冲突，把写操作安排在时钟周期的前半拍完成，读操作安排在后半段
  4. PC的问题，为了做到每一个时钟周期启动一条指令，必须在每个时钟周期都做把PC+4的工作（在IF段完成），需要设置一个专门的加法器。分支指令的时候也要修改PC，它是到MEM段才会进行修改

3.2 相关与流水线冲突

相关

• 相关：指两条指令之间存在某种依赖关系。如果两条指令相关，它们可能不在流水线中重叠执行或只能部分重叠。
  相关是导致流水线冲突的原因，但是相关是指令间的静态属性，但是存在相关的指令不一定会导致流水线冲突
  

1. 数据相关

➡️表示必须保证的执行顺序，由产生数据的指令指向使用该数据的指令。

流经存储器时，store和load指令的有效抵制计算方法都是Regs[rs]+immediate，不经过EX阶段计算不出来。所以就有可能两个表达方式不同的地址但是最后计算出来的结果是相同的。

• 要点：
  1. 数据相关反应数据的流动关系
  2. 当数据流动是通过寄存器的，相关的检测比较直观和容易

      LD F0 0(R1)
      ADD F4,F0,F2
     

     只要判断LD指令的rt字段是否和ADD指令的rs或者rt字段一直就可以了

2. 名相关

• 名：指令所访问的寄存器或存储器单元的名称
  如果两条指令使用相同的名，但是他们之间没有数据流动，则称这两条指令存在名相关。
• 反相关和输出相关：
  
• 要点：
  1. 没有数据流关系，仅仅是使用了相同的寄存器
  2. 可使用寄存器换名技术消除（寄存器换名可以用编译器静态实现，也可以用硬件动态完成）
     
     将上述代码按照123排序：
     2中不需要1中的数据来做什么，所以是名相关；而23是数据相关，所以要换的话全都换名。
     

3. 控制相关

• 控制相关是分支指令引起的相关。一般来说，为了保证程序应有的执行顺序，必须严格按控制相关确定的顺序执行。
  
• 要点：
  1. 由控制指令引起的
  2. 控制相关指令的限制：

     1. 与一条分支指令控制相关的指令不能被移到该分支指令之前，否则这些指令就不受该分支控制了。
     2. 如果一条指令与某分支指令不存在控制相关，就不能把该指令移到该分支之后
     

流水线冲突

• 流水线冲突：对于具体的流水线来说，由于相关的存在，使得指令流中的下一条指令不能在指定的时钟周期执行。
  ⚠️当一条指令被暂停时，该暂停指令之后流出的所有指令都被暂停，而在暂停之前流出的指令则继续执行。（否则永远无法解决冲突）

1. 结构冲突

• 结构冲突的更详细阐述：
  在流水线处理机中，为了能够使各种组合的指令都能顺利滴重复执行，需要对功能部件进行流水，或重复设置资源。如果某种指令组合因为资源冲突而不能正常执行，则称该处理机有结构冲突。
• 结构冲突举例：
  有些流水线处理机只有一个存储器，将指令和数据放在一起，在这种情况下，如果在某个时钟周期内既要完成访存操作，又要完成其后某条指令的“取指令”，那么就会发生访存冲突。
• 结构冲突的解决方案：

1. 引入Bubble（停顿）消除结构冲突，在第8个时钟周期，流水线中没有指令完成。
   
   
2. 在流水线处理机中设置相互独立的指令存储器和数据存储器，或者将统一的Cache分成独立的指令Cache和数据Cache。

• 为何有时流水线设计这允许结构冲突的存在？
  主要原因是减少硬件成本

2. 数据冲突

• 数据冲突的详细阐述：
  当相关的指令靠的足够近时，它们在流水线中的执行或者重新排序会改变指令读/写操作数的顺序，使之不同于它们非流水实现时的顺序，则发生了数据冲突。
  
• 减少数据冲突的措施
  
  1. 定向技术要点：
     3种情况可以定向
     自己写一下定向的检测条件
     什么样的情况不能定向？怎么解决？
     
  2. 需要停顿的数据冲突
     ⚠️这里的Bubble和前面的Bubble有所不同，前面是整个周期加一个空指令，不改变每条指令的执行时间，而这里是被停顿指令的 CPI增加了一个时钟周期，整个的指令序列的执行时间也增加了一个时钟周期。
     
     
  3. 依靠编译器解决数据冲突

⚠️没有影响的指令就是把前后执行都可以的指令进行移动，但是移动后也可以和定位技术结合，从而减少停顿。

3. 控制冲突

• 控制冲突的详细阐述：
  1. 在流水线中控制冲突可能比数据冲突造成更多的性能损失。执行分支指令的结果有两种：成功——PC值改变为分支转移的目标地址；失败——PC的值保持正常递增，指向顺序的下一条指令。
  2. 处理分支指令最简单的方法==“冻结”或者“排空”流水线==。一旦在ID段检测到是分支指令，就暂停执行其后的所有指令，直到MEM阶段确定是否成功并计算出新的PC值为止。带来3个时钟周期的延迟。
  3. 由分支指令引起的延迟称为分支延迟。
     
• 减少分支延迟可采取的措施：【这两种措施要同时采用，缺一不可（因为只有判断出转移是否成功而且得到分支目标地址后才能进行转移）】
  1. 在流水线中尽早判断出分支转移是否成功
  2. 尽早计算出分支目标地址
• 通过软件（编译器）来处理的方法：【3‘】
  这三种方法都有一个共同的特点：它们对分支的处理方法在程序执行过程中是始终不变的 ，是静态的。要么总是预测分支成功，要么总是预测分支失败
  
• 选择放入延迟槽中的指令是由编译器完成的。实际上延迟分支是否能带来好处完全取决于编译器能否把有用的指令调度到延迟槽中。
• 当无法使用从前调度时，使用从目标出调度和从失败处调度
  
• 分支取消机制：分支指令隐含了预测的分支执行方向，当分支的实际执行方向和事先预测的一样时执行分支延迟槽中的指令，否则就将分支延迟槽中的指令转化成一个空操作
  

---

4. 流水线的实现

4.1 MIPS的一种简单实现

• 重要知识点
  1. MIPS实现的数据通路
  2. 不采用单周期实现方案的原因

⚠️在该数据通路中，最多花5个周期就能实现一条MIPS指令！

把IF周期内的加法器与EX周期的ALU合并，共享一个ALU，并把指令存储器与数据存储器合并为一个存储器，就会得到一个更加经济的方案，但是这样不便于改造为流水实现。

• IR的低16位进行符号扩展，然后存入Imm
• 固定译码技术：指令的译码操作和读寄存器操作是并行进行的。因为在MIPS指令格式中，操作码字段以及rs、rt字段都是在固定的位置。（这里读出的操作数在后面并不一定用到，但是这里简化了硬件）
• 由于立即数在所有MIPS指令中的位置是相同的，因此在这里统一对其进行符号扩展，以便在下一个周期使用。虽然可能用不到，但是提前形成有益无害。

3. 执行/有效地址计算周期（EX）
   
   关于分支指令：（这里只考虑了BEQZ branch if equal zero）
   

• 将有效地址计算周期和执行周期合并为一个时钟周期，这是因为MIPS指令集采用load/store结构，没有任何指令需要同时进行数据有效地址的计算、转移目标地址的计算和对数据进行计算。
  
  在该周期内处理的MIPS指令仅有load、store和分支三种
  
  存储器访问指令包含load和store。如果是load指令，就从存储器中读出相应的数据，放入临时寄存器LMD；如果是store指令，就将B中的数据写入存储器。两种情况下均用ALUo中的值作为访存地址（在上一个周期已经计算好了）
  
  
  
  上述指令内容均是将结果写入通用寄存器组，这个结果可能来自ALU的计算结果，也可能来自存储器。写入的目标寄存器由指令中的rd或rt字段指出。

• 计算机设计者一般不会采用单周期实现方案的主要原因：

  1. 对于大多数CPU来说，单周期实现效率很低，因为不同的指令所需完成的操作差别相当大，因而所需要的== 时钟周期时间也大不一样==
  2. 单周期实现时需要重复设置某些功能部件（例如实现PC+4）的加法器，而在多周期实现方案中这些部件是可以共享的

4.2 基本的MIPS流水线

• 重要知识点：
  1. 流水寄存器
  2. 流水线控制
  3. 冲突检测
  4. 定向
  5. 分支提前的实现

对上面的MIPS简单实现的3方面改进

• 关于流水线寄存器的相关内容：
  1. 流水线寄存器的名称用其相邻的两个段的名称拼合而成（IF/ID）实际上每个流水线寄存器是由若干个寄存器构成的，这些寄存器的命名格式：【x.y】，其包含的字段的命名格式：【x.y[s]】（x流水线寄存器名称【实际上是一个寄存器组】，y是这个寄存器组中的具体寄存器，s是字段名称）
  2. 流水寄存器是边沿触发写入的
  3. 随着指令在流水线中的流动，所有有用的数据和控制信息每个时钟周期会往后流动一段（复制过去），在传递过程中，只保存后面需要用到的信息，丢弃不再需要的信息。
  4. 如果把PC看成是IF段的流水寄存器，那么每个段都有一个流水寄存器，它位于该流水段段前面，提供指令在该段执行所需要的所有数据和控制信息。
• 关于增加了向后传递IR和从MEM/WB.IR回送到通用寄存器组的连接相关内容：
  1. 当一条指令从ID段流到EX段时，新的指令就会进入ID段，冲掉IF/ID中的内容，所以指令中有用的信息要依次往后传递直到MEM/WB.IR。（暗合上面的内容）
• 关于将PC的修改移到IF段相关内容：
  1. 在IF和ID段，所有指令的操作都一样；从EX段才开始区分不同的指令
  2. 关于rs、rt和rd：
     在实现中，rs是第一个被用到的寄存器，rt是第二个被用到的寄存器，rd是第三个被用到的寄存器。比如LD R1, 0(R2)这条指令中第一个被使用到的寄存器R2，因为要读取R2，加上立即数部分0计算内存地址，所以R2为rs；从内存中读出的数据要存在R1中，因此R1是第二个被使用到的寄存器，即为rt。再如DAAD R4 R1, R5，R1和R5是同时被读取的，所以分别是rs和rt，计算结果写回R4，所以R4是rd。
     

为了控制流水寄存器工作，要确定如何控制多路器

解决数据冲突的问题（主要讨论了冲突检测的方法）

1. 对于该流水线而言，所有的数据冲突均可在ID段检测到。如果存在数据冲突，就在相应的指令流出ID段之前暂停——流水线的互锁机制（完成该工作的硬件）
2. 可以在ID段确定需要什么样的定向，并设置相应的控制——定向技术
3. 在使用操作数的时钟周期（上述流水线的EX和MEM阶段）的开始检测冲突并确定必须的定向
   ⚠️检测冲突是通过比较寄存器的地址是否相等实现的

冲突检测

1. load互锁：由于load的结果而引起的流水线互锁
   
   一旦硬件检测到上述的RAW冲突，流水线互锁机制必须在流水线中插入停顿，并使当前处于IF段和ID段的指令不再前进。为了实现这点：只要将ID/EX.IR中的操作码改为全0（全0代表空操作），并将IF/ID寄存器的内容送回到自己的入口即可。
2. 定向逻辑
   也是通过比较流水寄存器中的寄存器地址来的。
   
   

---

5. 向量处理机

无考点

• 如果有不相等的时段，然后输入端每隔t时间输入一个任务时，该流水线会阻塞并出现瓶颈段结构冲突。