一些概念

• Epoch：原意为时代、纪元，在神经网络的训练过程中指的是对所有的训练数据完成一次forward pass和一次backward pass。

• Batch Size： 每一次forward pass 和一次backward pass中所使用的训练样本数量。Batch Size越小，意味着每次训练的数据量小，也就意味着所消耗的内存越小。但是Batch越小也带来一些副作用，此时对梯度的估计会出现较大的偏差，这也就意味着需要更多的训练才能收敛，相当于利用时间来换取了内存资源的不足。

• Iteration：Batch训练的次数。举个简单的例子，如果有10,000个样本，batch size为100，那么就需要进行100次Iteration才能完成对所有样本的一次训练，也就是一个Epoch。

• Stride：步长，也就是卷积时滤波器每次移动的步数，比如下图中，步长为１。那么７ｘ７矩阵经过3ｘ3滤波后的输出为5ｘ5矩阵。

步长为１

同样的矩阵和同样的滤波器，如果步长为２，那么输出为3ｘ3矩阵。

步长为２

Pooling：池化，相当于一个下采样操作。比如下图中，使用2ｘ2的滤波器，每个２ｘ２的范围内都选择最大的值，滤波器移动的时候采用步长与滤波器长度一致。

池化

Padding：当使用滤波器对图像进行滤波的时候，比如使用5 x 5 x 3的滤波器对32 x 32 x 3的矩阵进行滤波，输出的结果为：28 x 28 x 3。这就导致输出结果的尺寸和输入图像的尺寸不一致。如果在处理的过程中希望保持输入输出尺寸一致，那么则可以对输入的图像首先进行边缘填充（Padding），以保证输出的结果尺寸。

边缘填充

Batch Norm：

**SGD