深度学习概览

深度神经网络基础

监督学习和无监督学习

监督学习：数据有标签

1. 回归问题
2. 分类问题

无监督学习：数据无标签

欠拟合和过拟合

欠拟合解决方法：

1. 增加特征项
2. 构造更复杂的多项式
3. 减少正则化参数

过拟合解决方法：

1. 增大训练的数据量
2. 正则化：L0正则、L1正则、L2正则
3. Dropout方法：随机选取和丢弃指定层次之间的部分神经元连接

后向传播

损失和优化

损失函数：

1. 均方误差函数：$$\mathrm{M}\mathrm{S}\mathrm{E}=\frac{1}{\mathrm{N}}\sum _{i=1}^N{(y_{ture}^i-y_{perd}^i)}^2$$
2. 均方根误差函数：$$\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}=\sqrt{\frac{1}{\mathrm{N}}{\sum _{i=1}^N(y_{ture}^i-y_{perd}^i)}^2}$$
3. 平均绝对误差函数：$$\mathrm{M}\mathrm{A}\mathrm{E}=\frac{1}{\mathrm{N}}\sum _{i=1}^N\left|y_{ture}^i-y_{perd}^i\right|$$

优化函数：

1. 梯度下降
2. 批量梯度下降
3. 随机梯度下降
4. Adam

激活函数

Sigmoid：$$f(x)=\frac{1}{1+e^{-x}}$$
tanh：$$f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$
ReLU：$$f(x)=max(0,x)$$

卷积神经网络

基础

1. 卷积层：对输入的数据进行特征提取
2. 池化层：对数据进行提取和压缩（平均池化、最大池化）
3. 全连接层：将输入图像在经过卷积和池化操作后提取的特征进行压缩，并根据压缩的特征完成模型的分类功能。

LeNet模型

1. INPUT层：32 * 32 * 1(高宽均为32的单通道图像)
2. C1层：第一个卷积层，卷积窗口为5 * 5 * 1，步长为1，不使用Padding。则输出图像为28 * 28 ，进行6次操作，得到28 *28 *6的图像
3. S2层：下采样层，缩减输入的特征图的大小，这里使用最大池化层（2 * 2 * 6）来进行下采样，则输出图像大小为14 * 14 * 6。
4. C3层：第二个卷积层，卷积窗口为5 * 5 * 6，，步长为1，不使用Padding。卷积16次，则输出图像为10 * 10 * 16
5. S4层：下采样，最大池化层，窗口为2 * 2 * 16，则输出图像为5 * 5 * 16。
6. C5层：第三个卷积层：窗口为5 * 5 * 16。步长为1，不使用Padding。卷积120次，则输出图像为1 * 1 * 120。
7. F6层：第一个全连接层：输入为1 * 1 * 120，输出为深度为84的特征图。则乘以120 * 84的权重参数，根据矩阵的乘法法则，得到输出。
8. OUTPUT层：输出层，将1 * 84压缩成1 * 10，需要用到84 * 10的矩阵。将最终的10个数据全部输入Softmax激活函数中，得到最终结果。

AlexNet模型

VGGNet模型

GoogleNet

Inception单元：