深度学习笔记_术语/缩写/基本概念

各种误差：RMSE、MSE、MAE、SD

RMSE（Root Mean Square Error）均方根误差

衡量观测值与真实值之间的偏差。常用来作为机器学习模型预测结果衡量的标准。

MSE（Mean Square Error）均方误差

MSE是真实值与预测值的差值的平方然后求和平均。通过平方的形式便于求导，所以常被用作线性回归的损失函数。

MAE（Mean Absolute Error）平均绝对误差

是绝对误差的平均值。可以更好地反映预测值误差的实际情况。

SD（Standard Deviation）标准差

方差的算术平均根。用于衡量一组数值的离散程度。

Epoch，Batchsize，Iterations

在训练模型时，如果训练数据过多，无法一次性将所有数据送入计算，那么我们就会遇到epoch，batchsize，iterations这些概念。为了克服数据量多的问题，我们会选择将数据分成几个部分，即batch，进行训练，从而使得每个批次的数据量是可以负载的。将这些batch的数据逐一送入计算训练，更新神经网络的权值，使得网络收敛。

Epoch

一个epoch指代所有的数据送入网络中完成一次前向计算及反向传播的过程。由于一个epoch常常太大，计算机无法负荷，我们会将它分成几个较小的batches。那么，为什么我们需要多个epoch呢？我们都知道，在训练时，将所有数据迭代训练一次是不够的，需要反复多次才能拟合收敛。在实际训练时，我们将所有数据分成几个batch，每次送入一部分数据，梯度下降本身就是一个迭代过程，所以单个epoch更新权重是不够的。

可见，随着epoch数量的增加，神经网络中权重更新迭代的次数增多，曲线从最开始的不拟合状态，慢慢进入优化拟合状态，最终进入过拟合。

因此，epoch的个数是非常重要的。那么究竟设置为多少才合适呢？恐怕没有一个确切的答案。对于不同的数据库来说，epoch数量是不同的。但是，epoch大小与数据集的多样化程度有关，多样化程度越强，epoch应该越大。

Batch Size

所谓Batch就是每次送入网络中训练的一部分数据，而Batch Size就是每个batch中训练样本的数量。

上文提及，每次送入训练的不是所有数据而是一小部分数据，另外，batch size 和batch numbers不是同一个概念~

Batch size大小的选择也至关重要。为了在内存效率和内存容量之间寻求最佳平衡，batch size应该精心设置，从而最优化网络模型的性能及速度。

Iterations

所谓iterations就是完成一次epoch所需的batch个数。刚刚提到的，batch numbers就是iterations。简单一句话说就是，我们有2000个数据，分成4个batch，那么batch size就是500。运行所有的数据进行训练，完成1个epoch，需要进行4次iterations

卷积 conv 反卷积deconv/transposed conv

卷积

作用:提取局部区域内的特征

反卷积

实现信号复原，在全卷积网络(FCN)中，实现上采样。

 

参考：

RMSE(均方根误差)/MSE(均方误差)/MAE(平均绝对误差)/SD(标准差)https://blog.csdn.net/FrankieHello/article/details/82024526/

深度学习中的Epoch，Batchsize，Iterations，都是什么鬼？https://www.jianshu.com/p/e5076a56946c/

卷积和反卷积（deconv）的正向 https://blog.csdn.net/qq_31157393/article/details/82051319