NEON初步使用

前言

指令集并行是CPU的优化加速的一个方向，在ARM芯片主要是利用NEON指令集实现指令集并行

NEON简介

NEON就是高级SIMD，单指令多数据，适用于图像、音频等数据处理。ARMv6就叫SIMD，ARMv7开始叫NEON，aarch64又有点不一样，下文只针对ARMv7或者ARMv8 aarch32的NEON进行

NEON有32个64位长的寄存器(D0-D31，每个D可以装2个浮点数据)，也可以看做为16个128位长的寄存器(Q0-Q15，每个Q可以装4个浮点数据)，所以一句指令最多可以同时实现4个乘法操作，理论速度可以提升4倍

如何使用NEON

三种使用NEON的方法

• 库函数
  官方给了2个库可以使用，OpenMax DL和Ne10，后者在github上有，也是我用来参考学习的主要对象
• 汇编函数
  • 用汇编语句编写.s文件
  • 在C/C++代码中嵌入汇编语句(inline assembly)
• 内联函数(intrinsics function)
  在C代码中直接嵌入内联函数用以实现功能，但是性能会取决于编译器和具体设备

汇编函数基础

想要高效利用NEON的话，汇编是避不开的。下面是ARM汇编相关的准备知识

• 参考资料
  汇编基础原理
  b、bx、bl指令
  arm汇编指令
  GNU ARM Assembler Quick Reference

• 特殊寄存器
  

  TODO: sb、ip是干嘛的

• 汇编函数文件directive(指令、伪操作)

  常见directive(指令、伪操作)	参数	说明
  .text		后面那些指令都属于.text段
  .syntax	unified	说明下面的指令是ARM和THUMB通用格式 TODO:不太懂
  .align	4	4字节对齐
  .balign	4	TODO:不太懂
  .global	xx_func	函数xx_func可以被外部文件调用访问
  .thumb_func		指明一个函数是thumb指令集的函数 TODO:不太懂

• 编译调用汇编函数
  编译汇编文件neon.s的命令需要加选项-mfpu=neon:

  arm-linux-gnueabihf-gcc -mfpu=neon -c neon.s -o neon.o
  

  主文件main.o链接neon.o的命令：

  arm-linux-gnueabihf-gcc neon.o main.o -o test
  

  相关编译参数

• 堆栈读取参数
  TODO:汇编读取多参数
  参考链接

• ARM汇编基础指令

  • ldr
    ldr R0, [R1]! @将内存地址为R1的数据加载到R0,并将R1指向下一个位置
    ldr R0，[R1，＃8] ；将存储器地址为R1+8的字数据读入寄存器R0。
  • str
    str R0，[R1，＃8] ；将R0中的字数据写入以R1＋8为地址的存储器中。
  • b 无条件跳转
    b label_fun
  • bl 带返回的跳转，保存当前位置到lr，用于子函数调用
    bl label_fun @bx lr或者mov pc, lr实现返回
  • bx 跳转并切换状态，一般用于子函数返回
    bx lr
  • bgt 比较跳转，如果经过之前某句操作后状态寄存器是大于(great than)就跳转
    cmp r0, #5
    bgt label_foo
  • and 按位与
    and r3, r2, #3 @ r3 = r2 % 4
  • asr 右移
    asr r2, r2, #2 @ r2 = r2 >> 2
  • cbz 比较跳转，如果为零就跳到后面的指令
    cbz r3, label_foo
  • sub 减命令
    sub r0, r1, r2 @ r0 = r1 - r2
  • subs 减命令，并更新状态寄存器
    同sub一样，多的更新状态寄存器功能可以配合bgt

• NEON矢量读取命令vld1

  • vld1.32         {d0}, [r1]@从内存地址r1开始读取2个32位数据到d0里，因为d能存2个32位浮点数
    

  • vld1.32         {q0}, [r1]@从内存地址r1开始读取4个32位数据到q0里，因为q能存2个32位浮点数
    

• NEON矢量存储命令vst1

  • vst1.32         {d0}, [r1]@将d0里的2个32位浮点数写到内存地址r1里
    

  • vst1.32         {q0}, [r1]@将q0里的4个32位浮点数写到内存地址r1里
    

• NEON矢量加命令vadd
  图文并茂，不用多说

  vadd.i16        d3, d0, d1         @ d3 = d0 + d1
  

  

NEON简单对比实验

github链接记得点赞

• C语言实现

  void mul_float_c(float *dst, float *src1, float *src2, int count)
  {
      int i = 0, j = 0;
      for (j = 0; j < count; j++)
          for (i = 0; i < 4; i++)
              *(dst++) = *(src1++) * *(src2++);
  }
  

• 汇编实现assembly

      .text
      .syntax   unified
      .align   4
      .global   mul_float_neon
      .thumb
      .thumb_func 
  
  mul_float_neon:
      @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
      @  r0: *dst & current dst entry's address浮点型指针，存储结果
      @  r1: *src1 & current src1 entry's address浮点型指针，操作对象1
      @  r2: *src2 & current src2 entry's address浮点型指针，操作对象2
      @  r3: count,循环次数
      @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
  .loop:
      cbz             r3, .return
      subs            r3, r3, #1
  
      vld1.32         {q0}, [r1]!
      vld1.32         {q1}, [r2]!        @ for current set
      @ calculate values for current set
      vmul.f32        q3, q0, q1         @ q3 = q0 + q1
      @ store the result for current set
      vst1.32         {q3}, [r0]!
  
      b               .loop
  .return:
      mov               r0, #0
      bx                lr
  
  

• C语言内嵌汇编实现inline assembly

  void mul_float_neon_inline(float *dst, float *src1, float *src2, int count)
  {
      asm volatile(
          ".loop:\n"
          "cbz             %[count], .return\n"
          "subs            %[count], %[count], #1\n"
          "vld1.32         {q0}, [%[src1]]!\n"
          "vld1.32         {q1}, [%[src2]]!        @ for current set\n"
          "vmul.f32        q3, q0, q1         @ q3 = q0 + q1\n"
          "vst1.32         {q3}, [%[dst]]!\n"
          "b               .loop\n"
          ".return:\n"
          // "mov               %[dst], #0\n"//不需要函数的返回跳转
          // "bx                lr\n"
          : // 解释返回参数,如[ dst ] "+r"(dst)，有个加号
          : [ dst ] "r"(dst), [ src1 ] "r"(src1), [ src2 ] "r"(src2), [ count ] "r"(count)// 解释输入参数
          : "memory", "q0", "q1", "q3");// 不太懂，但是要加
  }
  

• 内联函数实现
  内联函数官方在线文档

  #include //要用neon内联函数必须要该头文件
  void add_float_neon(float* dst, float* src1, float* src2, int count)
  {
     int i;
     for (i = 0; i < count; i += 4)
     {
         float32x4_t in1, in2, out;
         in1 = vld1q_f32(src1);
         src1 += 4;
         in2 = vld1q_f32(src2);
         src2 += 4;
         out = vaddq_f32(in1, in2);
         vst1q_f32(dst, out);
         dst +=4;                       
     }
  }
  

• 结果对比和分析

  pi@raspberrypi:~/mnt/neon_test $ ./neon_test 
  mul_float_c used: 0.000095 s
  mul_float_neon used: 0.000012 s
  mul_float_neon_inline used: 0.000011 s
  mul_float_neon_intrinsics used: 0.000059 s
  mul_float_c and mul_float_neon result same!!!
  mul_float_c and mul_float_inline result same!!!
  mul_float_c and mul_float_intrinsics result same!!!
  

  分别用C语言的for循环、neon的汇编实现、neon的内联汇编(inline assembly)、neon的内联函数(intrinsics function)这4种方式在A53上实现4*100次浮点运算，可以看出，最快的还是neon汇编实现，约10倍的速度提升，同时两种neon汇编的速度一样没啥区别，但是还是建议不用内联汇编，因为gdb没法debug，至于为什么会达到10倍的提升，一方面是neon的矢量乘法有4倍理论提升，还有就是读数据和存数据都是4倍提速。而neon的内联函数却只有不到2倍的速度提升，真辣鸡
  TODO:上述实验数据是在编译优化参数为debug模式"-O0 -g"的情况下测出来的，但是release模式"-Ofast"会报错

总结

来，弄优化，学汇编，用NEON！手动狗头