什么是NPU

NPU全称： Neural Processor Unit, 是一个AI加速器，为AI加速的定制电路，并且包含一些必要的控制单元和算法，来执行ML算法。尤其适用于操纵predictive model,例如artificial neural networks(ANNs) of random forests(RFs).
.NPU有时有类似的名称，如张量处理单元（TPU）、神经网络处理器（NNP）和智能处理单元（IPU）以及视觉处理单元（VPU）和图形处理单元（GPU）。

Motivation

执行卷积神经网络等深度神经网络意味着执行非常大量的乘积操作，通常是数十亿和数万亿次的迭代。大量的迭代来自于这样一个事实：对于每个给定的输入（例如图像），一个卷积包括迭代每个通道，然后是每个像素，然后执行非常多的MAC操作。在一个单一的模型中发现了许多这样的卷积，而模型本身必须在每一个新的输入（例如，每一个相机帧捕获）上执行。

与擅长处理高度序列化指令流的传统中央处理器不同，机器学习的工作负载往往是高度可并行的，很像一个图形处理单元。此外，与GPU不同，NPU可以从更简单的逻辑中受益，因为它们的工作负载往往在深度神经网络的计算模式中表现出高规律性。由于这些原因，许多定制设计的专用神经处理器已经被开发出来。

Overview

神经处理单元（NPU）是一个分区良好的电路，包括执行机器学习算法所需的所有控制和算术逻辑组件。NPU被设计用来加速常见的机器学习任务的性能，如图像分类、机器翻译、物体检测和其他各种预测模型。NPU可能是一个大型SoC的一部分，多个NPU可能被实例化在一个芯片上，或者它们可能是专用神经网络加速器的一部分。

Classification

一般来说，NPU被分类为训练或推理。对于能够执行这两种操作的芯片，这两个阶段一般还是独立进行的。

训练–设计用于加速训练的NPU是为了加速新模型的策划。这是一个高度计算密集型的操作，包括输入一个现有的数据集（通常是标记的），并在数据集上迭代，调整模型的权重和偏差，以确保一个越来越准确的模型。纠正一个错误的预测需要通过网络的各层传播并猜测一个修正。这个过程涉及到一次又一次的猜测，直到在所需的精度上获得一个正确的答案。

推理–设计用于加速推理的NPU在完整的模型上运行。推理加速器被设计用来输入一个新的数据（例如，一个新的相机镜头），通过已经训练好的模型进行处理，并产生一个结果。