AI芯片和编译器

---

前言

b站讲解

---

一、深度学习

深度学习发展

AI芯片的发展与深度学习网络的发展相互促进！

深度学习应用

目标识别

目标检测

自然语言处理

机器学习框架

目前使用较多的是Tensorflow与Pytorch。

常用深度学习算子

Convolution

Convolution是深度学习算子中计算量较大较为复杂的一个算子。

Pooling

Activiation

---

二、模型量化

量化

量化运算就是要把FP32的运算转为INT8的运算，定点运算相对于浮点运算来说计算量会小很多，所以计算速度会更快。

熵

量化标准

量化过程中会有一定的精度损失，即量化精度误差；（图左）
有的时候会舍弃一定的数据，也就是截断误差或舍弃误差。（图右）T的选择可以从熵的角度来考虑。

卷积中的量化

从表中可以看出经过量化之后，模型的准确率其实是没有太大区别，只是在很小范围内有浮动。

三、AI芯片

PCIe模式

Host主机；
TPU是深度学习的主要模块；
VPU主要是与视频编码相关的；
VPP主要与图像出力相关；

SoC模式

TPU模块

TPU就是一个经典的CMD架构，一共有64个NPU，所有的NPU都执行同一个指令，一条指令会分给所有的NPU，所有的NPU执行同一条指令。

编程模型

stride指的就是在某个2维度上两个元素的距离。

四、工具链

将深度学习模型编译为芯片上可以执行的内容。

TVM

---

总结

这部分简单对AI深度学习和编译器进行简单介绍。