Vivado Hls 设计优化

在使用高层次综合，创造高质量的RTL设计时，一个重要部分就是对C代码进行优化。Vivado Hls总是试图最小化loop和function的latency，为了实现这一点，它在loop和function上并行执行尽可能多的操作。比如说，在function级别上，高级综合总是试图并行执行function。
除了这些自动优化，directive是用来：
（1） 并行执行多个tasks，例如，同一个function的多次执行或同一loop的多次迭代。这是流水线结构。
（2） 调整数组的物理实现（(block RAM），函数，循环和端口，以提高数据的可用性，并帮助数据流更快地通过设计。
（3） 提供关于数据dependency的信息，或者缺乏数据dependency，允许执行更多的优化。最终的优化是修改C源代码，以消除在代码中意外的dependency，但是这可能会限制硬件的性能。
本文使用的sample设计是一个matrix multiplier函数。目标是在每一个时钟周期处理一个新的sample，并实现数据流接口。

优化matrix multiplier

solution1

这里使用矩阵乘法器设计，来显示如何可以完全优化基于loop的设计。设计目标是在每个时钟周期读取一个使用FIFO接口的sample，同时最大限度地减少了面积。此分析包括一个比较在loop级优化和在function级优化的方法。
对比loops和function pipeline的使用，创建一个可以处理采样时钟的设计。分析设计不符合性能要求的两个最常见的原因：loops dependency和数据流的限制（或瓶颈）。

Step 1:创建并打开Project
找到Design_Optimization lab1文件夹，依次在Command Prompt 窗口输入vivado_hls –f run_hls.tcl和vivado_hls –p matrixmul_prj

Step 2:综合分析设计
综合后的结果：

（1）图中，总的interval为80个时钟周期。因为每个输入数组中都有九个元素，所以设计每输入读取需要约九个周期。
（2）interval比latency多一个时钟周期，所以没有在硬件上并行执行。
（3）interval/latency是由于嵌套loops
I.Product inner loop：
-有一个2个时钟周期的延迟。
-总的迭代有6个时钟周期。
II.COL loop：
-它需要1个时钟输入和1个时钟退出。
-它需要8个时钟周期为每个迭代（1 + 6 + 1）。
-总的有24个周期完成所有迭代。
III.顶层loops每次迭代需要26个时钟周期，总的loops迭代共78时钟周期。

为了改善initiation interval，则需要：pipeline loops或pipeline整个function，并比较这两种结果。当pipelining loops时，loops的initiation interval是监控的重要度量指标。即使设计达到loop可以在每个时钟周期处理一个sample，函数的initiation interval仍然需要包含函数内的loops来完成所有数据的处理。

solution2: Pipeline the Product Loop

Step 1创建solution2，在Product loop下面插入pipeline directive（这里在Directive Editor下选择pipeline）

注意：当pipeline嵌套loop时，通过pipeline最内部Loop最大的好处就是，即有利于处理数据的sample。高级综合自动应用loop flattening，折叠嵌套loop，删除loop转换（本质上是创建一个更多迭代的单循环，但时钟周期整体较少）。

Step 2 综合设计到RTL级
在综合过程中，我们得到Console pane中报告的信息，显示loop flattening是loop Row上执行，默认内部Interval target为1由于依赖关系不能在loop Product上完成。

图中表明，虽然Product loop已经被pipeline，interval为2，但是顶层loop没有被pipeline。顶层loop不能pipeline的原因是，loop flattening只发生在loop Row，在loop Col 到Product loop上没有loop flattening。下面解释loop flattening不能flatten所有nested loop的原因。

Step 3 打开Analysis窗口，选择state C1的write operation，右击选择Goto Source

状态C1下的写操作是由于代码在Product loop前就已经设置res为0。因为res是在顶层函数，在RTL里这是在写入一个端口：这个操作必须发生在loop Product执行之前。因为它不是一个内部操作，而是会对I / O行为产生影响，这种操作不能移动或优化。这可以阻止Product loop被flatten进入row_col loop。

更重要的是，对于Product loop来说，为什么只有II为2是可能flatten的。

这个问题被称作carried dependency，这个dependency发生在一个loop的迭代操作和相同loop的不同迭代操作。例如，一个操作分别发生在K = 1时，当K = 2时（其中k是循环指数）。
第一个操作是在line 60数组res上的存储（内存读操作）。
第二个操作是在line 60数组res上的下载（内存写操作）。
从图中可以看到line 60是从数组res的读取（由于+=操作符）和写入数组res。数组默认映射到RAM block，下面Performance View的细节解释了为什么会发生这种冲突。

成功的schedule中，Product loop的下一次迭代如上所示。在这个schedule中，initiation interval（II）= 2，即loop操作每两个周期重启。任何block RAM之间的访问没有冲突。（没有突出显示的单元迭代重叠。）
不成功的schedule显示了为什么loop不能在II = 1时pipeline。此时，下一次迭代将需要1个时钟周期后开始。当第二次迭代尝试一个地址去读入时，第一次迭代中写入block RAM的操作仍然发生。这些地址是不同的，并且都不能在同一时间被应用到block RAM。
因此，你不能将Product loop的initiation interval 设置为1。下一步是pipeline Col loop。这将自动展开Product loop，并创建更多的operators，因此需要更多的硬件资源，但它确保在Product loop的不同迭代之间没有dependency。

solution3: Pipeline the Col Loop

Step 1创建solution3，在Col Loop下面插入pipeline directive

Step 2 Run C Synthesis

在综合过程中，在控制台窗格中报告的信息显示loop Product被展开，loop flattening是在loop Row上执行，默认initiation intervalv为1的目标不能在loop Row_Col上实现，这是由于数组a上memory资源的限制。

综合报告显示，如上所述，对loop Row_Col的interval只有2：目标是每个周期处理一个sample。你可以再一次使用Analysis窗口来证明为什么不实现initiation target。

Step 3 打开Analysis perspective，在Performance View里，展开Row_Col loop

在数组a中有三个读操作。两个读操作开始于C1状态，第三个读操作开始与C2状态。数组被实现为block RAMs和数组，这是参数的函数是实现块内存端口。在这两种情况下，一个block RAM最大只能有两个端口（对于双端口block RAM来说）。访问数组a通过一个单一block RAM接口，没有足够的端口能够在一个时钟周期中读取所有三个值。
另一种查看该资源限制的方法是使用到Resource窗口。

Step 4打开Resource tab，扩展Memory Ports
状态C1下面两个读操作与那些状态C2下的读操作重叠，因此，只有一个单一的周期是可见的：很显然该资源被用于在多个状态。即使当端口a的问题得到解决，相同的问题会发生在端口b：它也有三个读操作。

高级综合允许数组被partitioned, mapped together和 re-shaped。这些都允许在不改变源代码的情况下，对数组进行修改。

solution4: Reshape the Arrays

Step 1 创建solution4，在Directive里给数组a和数组b插入ARRAY_RESHAPE，选择dimension分别为2和1

Step 2 Run C Synthesis
综合报告显示顶层loop Row_Col现在是每个时钟周期处理数据的一个sample。

• 顶层模块需要12个时钟周期才能完成。
• 经过3次循环，Row_Col loop输出sample（迭代延迟）。
• 然后每个周期读取1个sample(Initiation Interval)。
• 9次iterations/samples（Trip count）完成所有samples。
• 3 + 9 = 12个时钟周期
函数可以完成并返回开始处理下一组数据。现在，把block RAM接口设置为FIFO接口，数据流形式。

solution5: Apply FIFO Interfaces

Step 1 创建solution5，在Directive里给数组a,b,res插入INTERFACE，在mode里选择ap_fifo

Step 2 Run C Synthesis，Console窗口报错

•在line57写[ 0 ] [ 0 ]。
•然后在line60写[ 0 ] [ 0 ]。
•然后在line60一个写[ 0 ] [ 0 ]。
•然后在line60一个写[ 0 ] [ 0 ]。
•在line57写入[ 0 ] [ 1 ]（在增量指标J后）。
•然后在line60写[ 0 ] [ 1 ]。

连续四个写入地址[ 0 ] [ 0 ]不能构成一个数据流模式，而是随机存取。

检查代码后发现在数组a和数组b存在类似的问题。它是使用一个FIFO接口访问代码已经写好的数据，这是不可能实现的。在使用FIFO接口时，Vivado Hls的优化directives会有不足，因为当前代码执行了一定的读写顺序。下面pipeline整个function，对比这两种方法的差异。

solution6: Pipeline the Function

Step 1 创建solution6，删掉loop Col下面的Directive，给matrixmul函数插入PIPELINE Directive

Step 2 Run C Synthesis，并比较各个report

solution6在较少的时钟就可以完成，并可以每5个时钟周期开始一个新的transaction。然而，消耗的资源也大幅增加，因为所有的循环在设计中被打开。

Pipelining loops允许循环保持rolling，从而提供了一个很好的方法来控制area。当pipeline一个函数时，函数中包含的所有 loops都是打开，这是一个pipeline的要求。流水线功能设计可以每5个时钟周期处理一组（9个）新的samples。这超过了每个时钟处理1个sample的要求，因为高级综合的默认行为是产生一个最高性能的设计。pipeline function会产生最好的性能，然而，如果它超过所需性能，它可能需要多个额外的directives。

优化 I/O Accesses的C代码

进一步优化需要重新编写代码，下面介绍如何修改matrixmul.cpp的代码，来帮助克服一些在代码中固有的性能限制。
Step 1 创建并打开Project
找到Design_Optimization lab2文件夹，依次在Command Prompt 窗口输入vivado_hls –f run_hls.tcl和vivado_hls –p matrixmul_prj

Step 2 打开matrixmul.cpp源代码

审查代码并确认以下：
•之前的directives在这里（包括FIFO接口）以pragmas形式指定的代码。
• for循环已被添加到缓存行和列读取。
•当最终的结果是计算为每个值时，一个临时变量被用于累计，并且端口res只能被写入。
•因为对于for循环缓存行和列需要多个周期去执行读取，pipeline directive已应用于Col for循环，来确保这些缓存for循环自动打开。

Step 3 Run C Synthesis

该设计已被完全综合，每个时钟周期读取一个使用数据流FIFO接口的sample。

总结

本文介绍了如何分析pipelined loops，并准确地理解哪些限制阻止优化目标的实现。以及对function 和 loop 进行pipeline的优点和缺点。代码中意外dependencies可以阻止硬件设计目标实现，如何通过修改源代码来克服它们。