深度学习的基本概念汇总

这里小小总结一下看论文时常见到的名词，不用再一个个搜索啦！！！

1.batch size

     batch size是指在训练集中取的样本数，batch的size设置的不能太大也不能太小，因此实际工程中最常用的就是mini-batch，一般size设置为几十或者几百。 对于二阶优化算法，减小batch换来的收敛速度提升远不如引入大量噪声导致的性能下降，因此在使用二阶优化算法时，往往要采用大batch哦。此时往往batch设置成几千甚至一两万才能发挥出最佳性能

2.channel

     channel定义：The dimensionality of the output space, i.e. the number of output channels (filters) in the convolution. ——mxnet （一般channels的含义是，每个卷积层中卷积核的数量）

3.Conv1d,Conv2d,Conv3d

     Conv1d即向一个维度进行卷积，常常用于自然语言处理

     Conv2d即向两个维度进行卷积，在计算机视觉上，如手写数字识别，输入一张长*宽的手写数字图片

     Conv3d即向三个维度进行卷积，在某些图像的处理上会更加高效，例如一些医学图像的分割有时会有更好的结果

4.Zero Padding（零填充）

     Zero_padding被广泛使用在卷积层中，因为图像在使用过滤器（卷积核）卷积后往往图像会缩小降维，丢失一些信息，为保持输入和输出的相同空间维度，故在水平轴和垂直轴的开始和结束处都添加了0来进行填充

5.Rescaling（区间缩放）

        常见的区间缩放为 Min-Max Rescaling，对数据进行线性变换，将特征值映射将特征值映射到区间［0，1］中

6.Standardization（标准化)

        标准化即为概率论与数理统计中常见的Z-score标准化。在特征值的均值（mean）和标准差（standard deviation）的基础上计算得出。标准化是依照特征矩阵的列处理数据，其通过求Z-score的方法

7.Normalization（归一化）

        归一化是将每个样本缩放为单位范数（每个样本的范数为1）。归一化是依照特征矩阵的行处理数据，其目的在于样本向量在点乘运算或其他核函数计算相似性时，拥有统一的标准，也就是说都转化为“单位向量”