dnn神经网络_MIT的DNN硬件加速器教程（一）综述

DNN综述

本slide主要是DNN中的一些概念介绍和名词解释。

slide链接

https://www.rle.mit.edu/eems/wp-content/uploads/2019/06/Tutorial-on-DNN-01-Overview.pdf​www.rle.mit.edu

1 深度神经网络背景

机器学习是人工智能的重要内容之一，脑启发计算是机器学习的方法之一，spiking是脑启发计算的方法之一，它的原理是模仿大脑工作。

spiking架构的典型芯片是IBM的TrueNorth。TureNorth芯片包含64x64个核心，每个核心由几部分组成：片上SRAM、神经元neuron、符号控制逻辑、调度器和路由组成。右侧ABCD是它的工作原理

脑启发计算还有一种重要的方法就是神经网络

神经网络实现了权重的相加，输入为来自上一个神经元的轴突x0、x1.。。。，权重为本神经元的突触w0、w1.。。。神经细胞体就是求和公式，所有轴突突触的乘积和加上偏置b。输出轴突为细胞体结果经过激活函数的值。

神经网络有很多权重，分布于输入层、隐藏层和输出层。图中是全连接的情况，即每个神经元和上一层神经元的所有输出相关。

深度学习是神经网络中的一个重要方法。

深度学习中的层可以看做是神经元集合

权重可以看做是突触集合

每个突触都有自己的权重。

多个突触使用相同的权重值称为权重共享

L1层的神经元输入为输入层比如图像像素，L1层神经元输出为经过激活函数后的值

L2层同理

全连接：所有的输入神经元都连接到所有的输出神经元

稀疏连接：非全连接

前馈：参数向前传递

反馈：参数向自身传递

当前DNN流行的类型：

全连接神经网络，也叫作MLP，是一个前馈的网络

卷积神经网络CNN，前馈网络，具有稀疏连接、共享权重的特性

循环神经网络RNN，反馈网络

长短期记忆网络LSTM，反馈网络和存储的属性

训练：训练的目的是决定权重，可分为

监督：有用于训练的带标签数据集，包含输入和输出

无监督/自监督：没有带标签的训练数据集

半监督：训练集中有一部分带标签的数据

增强（强化）学习：通过奖励和惩罚来评估输出

推理：推理是使用权重来决定输出

深度卷积神经网络

当前的深度卷积神经网络可能包含了5~1000层的卷积层，在最后使用1~3层的全连接层，最后得出分类结果。

卷积层主要完成卷积和卷积结果经过激活函数后的值

全连接层主要完成全连接计算以及结果经过激活函数后的值

在卷积层之间或卷积层和全连接层之间可以插入归一化处理和池化Pooling来优化整个深度神经网络

卷积大约占了所有计算量的90%，决定了运行时长和能耗。

卷积层完成filter（由权重组成的矩阵）和输入特征图fmap矩阵进行元素乘（element-wise）的计算。即输出的结果为两个矩阵对应位置每个元素相乘的部分和累加。

由于filter矩阵规模小（RxS），特征图矩阵规模大（HxW），所以采用滑动窗口的方法处理得到输出特征图矩阵（ExF）

如果特征图有多个通道（C个），那么同时也需要C个filter来进行卷积，这C个一对矩阵元素乘的结果的部分和为输出特征图矩阵的一个元素。

如果filter有M组（每组C个矩阵），那么可以得到一个通道数为M的输出特征图矩阵，即输出fmap的通道数C由filter的组数M决定，即本卷积层的M为下一卷积层的C。

如果输入特征图有N组（每组C个矩阵），filter还是M组（每组C个矩阵），则可以得到N组通道数为M的输出特征图矩阵。N表示同时处理多少批图片，一般也称为batch size

由上可知，filter和输入fmap的通道数必定一样，输入fmap和输出fmap的组数必定一样，filter的组数和输出fmap的通道数必定一样。

以上卷积过程用公式表示就如图中所示。

用软件简单实现需要7层循环完成卷积层的计算，外四层为输出fmap的循环，内三层为filter和输入fmap的乘法累加计算。

激活函数

传统的激活函数Sigmoid和双曲正切

当前流行的激活函数ReLU及其衍生（为了解决梯度消失问题）

全连接层和卷积层的计算基本一致

输出fmap的规模为MxN，filter和输入fmap的规模一样大

Pooling层主要完成下采样，可以独立的减少每个通道的特征图规模

根据stride的大小也可以决定有没有overlap。

上图为max-pooling的简单软件实现有6层循环，内两层是找到窗口的最大值保存。

归一化层主要是批处理的归一化处理（BN），归一化后均值为0，标准差为1，一般认为使用BN可以提高精度，并且可以加速DNN的训练