AI加速（八）| 循环展开Unrooling——你肯定能学会的程序加速方法

前文回顾：

AI加速（一）| GPU为什么这么牛？

AI加速（二）| 计算机存储和计算的分离

AI加速（三）| 每条指令都是流水线的工人

AI加速（四）| 衣柜般的分层存储设计

AI加速（五）| 一个例子看懂流水——从指令到算法

AI加速（六）| 异构编程——性能不够，“外挂“来凑?

AI加速（七）| 存算一体——冰箱里面炒鸡蛋？

AI加速系列写了7篇文章了，基本都从硬件的角度介绍了程序加速的手段和方法。

其实现在想想，这个系列叫AI加速不是很恰当，因为很多加速方法并非仅仅在AI计算中会用到，在很多科学计算和程序设计中，都会用到。可以说是一些通用的计算机程序加速方法。

从这篇开始，会从软件以及AI本身的角度来介绍一些常用的AI加速方法。

循环展开

如果要我说一个最简单，最有效的，并且人人都能学会的程序优化方法，我估计会投票给Unrooling（译为：循环展开）。

循环展开，从名字就能看出来是什么意思：就是把一段循环代码展开来写。

听着简单，但具体怎么做呢？先举个简单的例子——

高斯年轻的时候，老师曾问他：从1加到100，结果是多少？高斯思考片刻后，给出了5050的答案，让老师大吃一惊。

这里也用这个例子，计算1到100的所有数的和。用C语言很容易写出下面的代码：这个写法很容易想出来：100个数相加，循环100次，每次累加一个数字，最终输出结果 sum = 5050。

#include "stdio.h"

int main() {
  int sum = 0;
  for (int i = 1; i <= 100; ++i) {
    sum = sum + i;
  }
  printf("sum = %d\n", sum);
  return 0;
}

这个写法很容易想出来：100个数相加，循环100次，每次累加一个数字，最终输出结果 sum = 5050。

那么，这段代码，如果用循环展开会怎么写呢？

#include "stdio.h"

int main() {
  int sum = 0;
  for (int i = 1; i <= 100; i+=4) {
    sum = sum + i;
    sum = sum + (i + 1);
    sum = sum + (i + 2);
    sum = sum + (i + 3);
  }
  printf("sum = %d\n", sum);
  return 0;
}

如上是循环展开的写法，我们把原来循环100次，每次循环加1个数的写法，写成了循环25次，每次循环加4个数。

从结果上看肯定是一致的，最终结果都是5050。但是两者的性能会有较大的差别。

性能验证

下面实际验证一下两种写法的性能。

为了更准确的获取到程序中数字累加的耗时，把100个数字的相加改为10000个数字相加。因为100个数字对于计算机来说太少了，两者的性能差别不大，不容易看出差别。

在我的笔记本上进行如下的测试，有以下代码，其中 gettimeofday函数用来获取时间戳。

#include "stdio.h"
#include 
 
int main() {
  int sum = 0;
  struct timeval tv0, tv1;
  #if 0
  printf("do not use unrooling\n");
  gettimeofday(&tv0, NULL); 
  for (int i = 1; i <= 10000; ++i) {
    sum = sum + i;
  }
#else
  printf("use unrooling\n");
  gettimeofday(&tv0, NULL);
  for (int i = 1; i <= 10000; i+=4) {
    sum = sum + i;
    sum = sum + (i + 1);
    sum = sum + (i + 2);
    sum = sum + (i + 3);
  }
#endif
  gettimeofday(&tv1, NULL);
  printf("time = %ld\n", (tv1.tv_usec) - (tv0.tv_usec));
  printf("sum = %d\n", sum);
  return 0;
}

测试结果如下：

可以看到，使用循环展开后，10000个数的累加耗时为14微秒；不使用循环展开，10000个数的累加耗时为24微秒。

两者相差10us的耗时，大约相差40%的耗时！

这是很夸张的，要知道，在做程序性能优化时，如果能一次优化掉40%的耗时，几乎就算是一个很棒的优化手段了。（感兴趣的同学可以复制上面的代码实际测试一下）

为什么循环展开会有效呢

这和计算机的取指令以及缓存机制有关。

其性能加速的思想是：减少CPU读取指令的失败次数，也就是降低指令的Cache Miss。

可能不太好理解，没关系，先看一个实际例子就懂了。

双11刚刚过去，你肯定买了不少的快递。假设你买了100件快递，并且这些快递已经放在了快递柜中一个个的小格子里了。

现在要去取快递，100件快递至少要开100次的快递柜门，才能把所有的快递取出来。

为什么这里说至少100次呢？因为很有可能因为某些原因一次不能成功开启快递柜的门，这些原因可能包括：

• 走错快递柜

• 输错取件码

• 脑袋发蒙，快递没取出来又给关上了

连着取100个快递，谁能说得准会发生什么事情呢？

但不管怎样，在这个场景下，你需要一件一件地将快递拿出来，但由于上面几个原因，如果运气不好，就会出现好几次打不开快递柜门的情况。

那有没有办法优化一下这个问题呢？

当然有，那就是让快递员把多个快递放在同一个快递格子里。

如上图，比如每4个快递放在一个快递格子里，这样打开一个格子，就一定能取出4个快递。那至少开25次的快递柜门，就能把所有的快递取出来。这很显然，比100次的效率要高不少。

说回循环展开，100个快递就需要做100次循环，每个快递的取出就是循环里的一条加法指令。

如果不做循环展开，那就需要一个快递一个快递的取（相当于从指令内存iCache中一条指令一条指令的取），并且很有可能取完这一条指令后，并不能成功的取到下一条指令，从而发生Cache Miss现象。

但如果我们做了循环展开，相当于把相邻的4条指令绑定了，CPU做一次循环，看到里面一定有四条相邻的指令，就像我们打开快递柜门，里面一定有四个快递一样。

CPU取完第一条指令后，能很快地取到第二条指令，从而很快地取到第三条第四条指令。

在取完4条指令后，才会有可能发生Cache Miss 现象。连着取四个快递之后Miss一次，和每取一个快递，就Miss一次，浪费的时间肯定是不一样的。

循环展开能有效地降低指令的Cache Miss 。这个方法对于程序加速很有效，并且实施起来也很简单，如果你有兴趣，不防在自己的项目中试一试。

但是需要说明的是：现在的编译器可能会对你的代码自动做循环展开优化，因此，如果你想试试效果，建议编译的时候不要打开任何优化选项。

好啦，循环展开就写到这，欢迎持续关注AI加速系列。

---

所有文章均为作者原创，免费阅读，欢迎关注。专栏地址 >>>>>>>

https://blog.csdn.net/dongtuoc/category_11895363.htmlhttps://blog.csdn.net/dongtuoc/category_11895363.html