机器学习——基本名词及概念

• 特征：模型的输入

• 样本：用于训练流程的输入/输出对

• 标签：模型的输出

• 层级：神经网络中相互连接的节点集合。

• 模型：神经网络的表示法

• 密集全连接层 (FC)：一个层级中的每个节点都与上个层级中的每个节点相连。

• 权重和偏差：模型的内部变量

• 损失：期望输出和真实输出之间的差值

• MSE：均方误差，一种损失函数，它会将一小部分很大的差值视作比大量很小的差值更糟糕。

• 梯度下降法：每次小幅调整内部变量，从而逐渐降低损失函数的算法。
  优化器：梯度下降法的一种具体实现方法。（有很多算法。在这门课程中，我们将仅使用“Adam”优化器，它是 ADAptive with Momentum 的简称，并且被视为最佳优化器。）

• 学习速率：梯度下降过程中的损失改进“步长”。

• 批次：在训练神经网络的过程中使用的一组样本。

• 周期：完全经过整个训练数据集一轮

• 前向传播：根据输入计算输出值

• 反向传播：根据优化器算法计算内部变量的调整幅度，从输出层级开始，并往回计算每个层级，直到抵达输入层。

• 扁平化：将二维图像转换为一维向量的过程

• ReLU：一种激活函数，使模型能够解决非线性问题

• Softmax：一种函数，能够为每个潜在输出类别生成概率

• 分类：一种机器学习模型，用于区分两个或多个输出类别

• CNN：卷积神经网络。即至少有一个卷积层的网络。典型的 CNN 还包括其他类型的层级，例如池化层和密集层。

• 卷积：向图像应用核（滤波器）的过程

• 核/滤波器：小于输入的矩阵，用于将输入变成多个小区域

• 填充：在输入图像周围添加像素，像素值通常为 0

• 池化：通过下采样降低图像大小的过程。池化层有多种类型。例如，平均池化通过求平均值将多个值变成一个值。但是最大池化是最常见的池化类型。

• 最大池化：一种池化过程，通过获取多个值中的最大值，将多个值变成一个值。

• 步长：在图像上滑动核（滤波器）的间隔像素数量。

• 下采样：降低图像大小的操作

• 调整尺寸：在处理不同尺寸的图像时，我们必须将所有图像调整为相同的尺寸，这样才能传入 CNN。

• 彩色图像：计算机会将彩色图像解析为三维数组。

• RGB 图像：彩色图像由三个颜色通道组成：红、绿和蓝。

• 卷积：在处理 RGB 图像时，我们使用各自的卷积过滤器对每个颜色通道执行卷积运算。对每个颜色通道执行卷积运算的过程与灰阶图像一样，即对卷积过滤器（核）与输入数组的一部分执行元素级乘法运算。将每次卷积的结果相加，并加上偏差值，得出卷积输出。

• 最大池化：在处理 RGB 图像时，我们会使用相同的窗口大小和步长对每个颜色通道执行最大池化运算。对每个颜色通道执行最大池化运算的过程与灰阶图像一样，即从每个窗口中选择最大值。

• 验证集：我们使用验证集检查模型在训练过程中的效果。我们可以根据验证集应用早停法技巧，防止过拟合；并且可以使用验证集比较不同的模型，然后选择最佳模型。

• 早停法：对于此方法，我们会在训练过程中跟踪验证集的损失，并根据该损失判断何时停止训练，使模型很准确，但是不会过拟合。

• 图像增强：通过向训练集中的现有图像应用随机图像转换，人为地增加训练集中的图像数量。

• 丢弃：在训练过程中，从神经网络中随机选择固定数量的神经元并关闭这些神经元。