《Python深度学习》第四章读书笔记

第四章 机器学习基础

---

本章重点：处理机器学习问题的通用工作流程：

1. 定义问题与要训练的数据。 收集这些数据，有需要的话用标签来标注数据。
2. 选择衡量问题成功的指标。 你要在验证数据上监控哪些指标？
3. 确定评估方法：留出验证？ K 折验证？你应该将哪一部分数据用于验证？
4. 开发第一个比基准更好的模型，即一个具有统计功效的模型。
5. 开发过拟合的模型。
6. 基于模型在验证数据上的性能来进行模型正则化与调节超参数。

---

4.1 机器学习的四个分支

4.1.1 监督学习

监督学习是目前最常见的机器学习类型。给定一组样本（通常由人工标注），它可以学会将输入数据映射到已知目标［也叫$标注（annotation）$］。

监督学习主要包括分类和回归，更多的奇特变体，主要包括如下几种：

• 序列生成（sequence generation）。给定一张图像，预测描述图像的文字。序列生成有时可以被重新表示为一系列分类问题，比如反复预测序列中的单词或标记。
• 语法树预测（syntax tree prediction）。给定一个句子，预测其分解生成的语法树。
• 目标检测（object detection）。给定一张图像，在图中特定目标的周围画一个边界框。这个问题也可以表示为分类问题（给定多个候选边界框，对每个框内的目标进行分类）或分类与回归联合问题（用向量回归来预测边界框的坐标）。
• 图像分割（image segmentation）。给定一张图像，在特定物体上画一个像素级的掩模（mask）。

4.1.2 无监督学习

• 无监督学习是指在没有目标的情况下寻找输入数据的有趣变换，其目的在于数据可视化、数据压缩、数据去噪或更好地理解数据中的相关性。
• 为了更好地了解数据集，是解决监督学习问题之前的一个必要步骤。降维（dimensionality reduction）和聚类（clustering）都是众所周知的无监督学习方法。

4.1.3 自监督学习

• 自监督学习是$没有人工标注的标签的监督学习$。标签仍然存在（因为总要有什么东西来监督学习过程），但它们是从输入数据中生成的，通常是使用$启发式算法生成$的。
• 常见的自监督学习
  • 自编码器（autoencoder），其生成的目标就是未经修改的输入。
  • 时序监督学习（temporally supervised learning），给定视频中过去的帧来预测下一帧，或者给定文本中前面的词来预测下一个词。
• 监督学习、自监督学习和无监督学习之间的区别有时很模糊，这三个类别更像是没有明确界限的连续体。

分类和回归术语表：

• $样本（sample）或输入（input）$：进入模型的数据点。
• $预测（prediction）或输出（output）$：从模型出来的结果。
• $目标（target）$：真实值。对于外部数据源，理想情况下，模型应该能够预测出目标。
• $预测误差（predictionerror）或损失值（lossvalue）$：模型预测与目标之间的距离。
• $类别（class）$：分类问题中供选择的一组标签。例如，对猫狗图像进行分类时，“狗”和“猫”就是两个类别。
• $标签（label）$：分类问题中类别标注的具体例子。比如，如果 1234 号图像被标注为包含类别“狗”，那么“狗”就是 1234 号图像的标签。
• $真值（ground-truth）或标注（annotation）$：数据集的所有目标，通常由人工收集。
• $二分类（binaryclassification）$：一种分类任务，每个输入样本都应被划分到两个互斥的类别中。
• $多分类（multiclassclassification）$：一种分类任务，每个输入样本都应被划分到两个以上的类别中，比如手写数字分类。
• $多标签分类（multilabelclassification）$：一种分类任务，每个输入样本都可以分配多个标签。举个例子，如果一幅图像里可能既有猫又有狗，那么应该同时标注“猫”标签和“狗”标签。每幅图像的标签个数通常是可变的。
• $标量回归（scalarregression）$：目标是连续标量值的任务。预测房价就是一个很好的例子，不同的目标价格形成一个连续的空间。
• $向量回归（vectorregression）$：目标是一组连续值（比如一个连续向量）的任务。如果对多个值（比如图像边界框的坐标）进行回归，那就是向量回归。
• $小批量（mini-batch）或批量（batch）$：模型同时处理的一小部分样本（样本数通常为 8~128）。样本数通常取 2 的幂，这样便于 GPU 上的内存分配。训练时，小批量用来为模型权重计算一次梯度下降更新。

4.2 评估机器学习模型

本小节主要是：1）数据划分为训练集、验证集和测试集。2）如何衡量泛化能力。

4.2.1 训练集、验证集和测试集

• 评估模型的重点是将数据划分为三个集合：$训练集、验证集和测试集$。
  • 在$训练数据上训练模型$，这个过程本质上是学习：在某个参数空间中寻找良好的模型配置。
  • 在$验证数据上评估模型$，验证是否过拟合，要防止信息泄露（information leak）。
  • 找到最佳参数，在$测试数据上最后测试一次$。
• 三种经典的评估方法：

  1. 简单的留出验证
     缺点：如果可用的数据很少，那么可能验证集和测试集包含的样本就太少，从而无法在统计学上代表数据。
     

     num_validation_samples = 10000
     #通常需要打乱数据
     np.random.shuffle(data)
     #定义验证集
     validation_data = data[:num_validation_samples]
     data = data[num_validation_samples:]
     #定义训练集
     training_data = data[:]
     model = get_model()
     #在训练数据上训练模型，并在验证数据上评估模型
     model.train(training_data)
     validation_score = model.evaluate(validation_data)
     # 现在你可以调节模型、重新训练、评估，然后再次调节……
     # 一旦调节好超参数，通常就在所有非测试数据上从头开始训练最终模型
     model = get_model()
     model.train(np.concatenate([training_data,
     							validation_data]))
     test_score = model.evaluate(test_data)
     

  2. K 折验证

     • K 折验证（K-fold validation） 将数据划分为大小相同的 $K$个分区。对于每个分区 $i$ ，在剩余的$K-1$个分区上训练模型，然后在分区 $i$上评估模型。最终分数等于$K$个分数的平均值。
     • 应用场景：对于不同的训练集 - 测试集划分，如果$模型性能的变化很大$，那么这种方法很有用。
       

     k = 4
     num_validation_samples = len(data) // k
     
     np.random.shuffle(data)
     
     validation_scores = []
     for fold in range(k):
     	# 选择验证数据分区
     	validation_data = data[num_validation_samples * fold:
     							num_validation_samples * (fold + 1)]
     	#使用剩余数据作为训练数据。注意，+ 运算符是列表合并，不是求和
     	training_data = data[:num_validation_samples * fold] +
     						data[num_validation_samples * (fold + 1):]
     	# 创建一个全新的模型实例（未训练）
     	model = get_model()
     	model.train(training_data)
     	validation_score = model.evaluate(validation_data)
     	validation_scores.append(validation_score)
     # 最终验证分数：K 折验证分数的平均值
     validation_score = np.average(validation_scores)
     # 在所有非测试数据上训练最终模型
     model = get_model()
     model.train(data)
     test_score = model.evaluate(test_data)
     

  3. 带有打乱数据的重复 K 折验证（iterated K-fold validation with shuffling）

     • 如果可用的数据相对较少，而你又需要尽可能精确地评估模型，那么可以选择此方法。
     • 具体做法是多次使用$K$折验证，在每次将数据划分为$K$个分区之前都先将数据打乱。最终分数是每次$K$折验证分数的平均值。
     • 这种方法一共要训练和评估$P\times K$个模型（$P$是重复次数），$计算代价很大$。

4.2.2 评估模型的注意事项

1. 数据代表性（data representativeness）。在将数据划分为训练集和测试集之前，通常应该$随机打乱$数据。
2. 时间箭头（the arrow of time）。如果想要根据过去预测未来，那么在划分数据前你不应该随机打乱数据，因为这么做会造成时间泄露（temporal leak）。应该始终确保测试集中所有数据的时间都晚于训练集数据。
3. 数据冗余（redundancy in your data）。 如果数据中的某些数据点出现了两次，那么打乱数据并划分成训练集和验证集会导致训练集和验证集之间的数据冗余。$一定要确保训练集和验证集之间没有交集$。

4.3 数据预处理、特征工程和特征学习

4.3.1 神经网络的数据预处理

数据预处理的目的是使原始数据更适于用神经网络处理，包括$向量化$、$标准化$、$处理缺失值$和$特征提取$。

1. $向量化$
   神经网络的所有输入和目标都必须是浮点数张量。无论处理什么数据，都必须首先将其转换为张量，这一步叫作$数据向量化(datavectorization)$。

2. $标准化$
   输入数据应该具有以下特征。

   • 取值较小：大部分值都应该在 0~1 范围内。
   • 同质性（homogenous）：所有特征的取值都应该在大致相同的范围内。
   • 将每个特征分别标准化，使其均值为 0。
   • 将每个特征分别标准化，使其标准差为 1。

   这对于 Numpy 数组很容易实现。

   # 假设 x 是一个形状为 (samples,features) 的二维矩阵
   x -= x.mean(axis=0)
   x /= x.std(axis=0)
   

3. $处理缺失值$
   一般来说，对于神经网络，将缺失值设置为 0 是安全的，只要 $0不是一个有意义的值$。网络能够从数据中学到 0 意味着缺失数据，并且会忽略这个值。

   注意：如果$测试数据中可能有缺失值$，而网络是在没有缺失值的数据上训练的，那么网络不可能学会忽略缺失值。在这种情况下，你应该$人为生成一些有缺失项的训练样本$：多次复制一些训练样本，然后删除测试数据中可能缺失的某些特征。

4.3.2 特征工程

1. 定义：特征工程（feature engineering）是指将数据输入模型之前，利用你自己关于数据和机器学习算法（这里指神经网络）的知识对数据进行硬编码的变换（不是模型学到的），以改善模型的效果。
2. 本质：用$更简单的方式$表述问题，从而使问题变得更容易。它通常需要深入理解问题。
3. 作用：
   • 良好的特征仍然可以让你$用更少的资源更优雅地解决问题$。
   • 良好的特征可以让你$用更少的数据解决问题$。

---

4.4 过拟合与欠拟合

1. 机器学习的根本问题是$优化$和$泛化$之间的对立。
   • 优化（optimization）是指调节模型以在训练数据上得到最佳性能（即机器学习中的学习）。
   • 泛化（generalization）是指训练好的模型在前所未见的数据上的性能好坏。
2. 防止过拟合$最优解决方法是获取更多的训练数据$。此最优的方法调节模型允许存储的信息量，或$对模型允许存储的信息加以约束$。有：减小网络大小、添加权重正则化和添加 dropout 正则化等方法。

   • 获取更多的训练数据
   • 减小网络容量
   • 添加权重正则化
   • 添加 dropout

4.4.1 减小网络大小

1. 在深度学习中，模型中可学习参数的个数通常被称为$模型的容量（capacity）$，参数更多的模型拥有更大的记忆容量（memorization capacity）。
2. 深度学习模型通常都很擅长拟合训练数据，但$真正的挑战在于泛化$，而不是拟合。
3. 因此要在$容量过大$与$容量不足$之间要找到一个折中。
4. 一般的工作流程是:
   • 开始时选择相对较少的层和参数；
   • 然后逐渐增加层的大小或增加新层；
   • 直到这种增加对验证损失的影响变得很小。

4.4.2 添加权重正则化

1. 奥卡姆剃刀（Occam’s razor）原理：如果一件事情有两种解释，那么最可能正确的解释就是最简单的那个，即假设更少的那个。即：$简单模型比复杂模型更不容易过拟合$。

2. $简单模型（simplemodel）是指参数值分布的熵更小的模型$。

3. 强制让模型权重只能取较小的值，从而限制模型的复杂度，这使得权重值的分布更加规则（regular）。这种方法叫作权重正则化（weight regularization）。正则化分为：

   • $L1正则化(L1regularization)$：添加的成本与权重系数的$绝对值$［权重的 L1 范数（norm）］成正比。
   • $L2正则化(L2regularization)$：添加的成本与权重系数的$平方$（权重的 L2 范数）成正比。神经网络的 L2 正则化也叫权重衰减（weight decay）。

4. 在 Keras 中，添加权重正则化的方法是向层传递权重正则化项实例（weight regularizer instance）作为关键字参数。

   from keras import regularizers
   model = models.Sequential()
   # 添加L2正则化
   model.add(layers.Dense(16, kernel_regularizer=regularizers.l2(0.001),
   					   activation='relu', input_shape=(10000,)))
   model.add(layers.Dense(16, kernel_regularizer=regularizers.l2(0.001),
   					   activation='relu'))
   model.add(layers.Dense(1, activation='sigmoid'))
   

   from keras import regularizers
   regularizers.l1(0.001)#L1 正则化
   regularizers.l1_l2(l1=0.001, l2=0.001)#同时做 L1 和 L2 正则化
   

4.4.3 添加 dropout 正则化

1. 对某一层使用 dropout，就是在训练过程中随机将该层的一些输出特征舍弃（设置为 0）。
2. dropout 比率（dropout rate）是被设为 0 的特征所占的比例，通常在 0.2~0.5范围内。
3. 方法：
   • 训练时，我们随机将矩阵中一部分值设为 0，测试时dropout。

     #训练时，舍弃 50%的输出单元
     layer_output *= np.random.randint(0, high=2, size=layer_output.shape)
     #测试时，我们将输出按 dropout 比率缩小。这里我们乘以 0.5.
     layer_output *= 0.5
     

   • 训练时就dropout

     #训练时
     layer_output *= np.random.randint(0, high=2, size=layer_output.shape)
     layer_output /= 0.5 #注意，是成比例放大而不是成比例缩小
     

   

4.5 机器学习的通用工作流程

4.5.1　定义问题，收集数据集

1. 明确了输入、输出以及所使用的数据。

   • 假设输出是可以根据输入进行预测的。
   • 假设可用数据包含足够多的信息，足以学习输入和输出之间的关系。

2. 一定要是$非平稳问题（nonstationaryproblem）$。

   参考：P、NP、NPC和NP-Hard相关概念的图形和解释

4.5.2　选择衡量成功的指标

1. 损失函数的选择，即模型要优化什么。
2. 问题分类：
   • 对于$平衡分类问题$（每个类别的可能性相同），精度和接收者操作特征曲线下面积（area under the receiver operating characteristic curve，$ROC、AUC$）是常用的指标。

     广泛使用的分类指标 ROC AUC 就不能被直接优化。因此在分类任务中，常见的做法是优化 ROC AUC 的替代指标，比如$交叉熵$。$交叉熵越小，ROCAUC越大$。

   • 对于$类别不平衡的问题$，可以使用$准确率和召回率$。
   • 对于$排序问题或多标签分类$，你可以使用$平均准确率均值$（mean average precision）。

     要想了解各种机器学习的成功衡量指标以及这些指标与不同问题域的关系，你可以浏览 Kaggle 网站上的数据科学竞赛。

4.5.3　确定评估方法

1. 留出验证集。数据量很大时可以采用这种方法。
2. K 折交叉验证。如果留出验证的样本量太少，无法保证可靠性，那么应该选择这种方法。
3. 重复的 K 折验证。如果可用的数据很少，同时模型评估又需要非常准确，那么应该使用这种方法。

只需选择三者之一。大多数情况下，第一种方法足以满足要求。

4.5.4　准备数据

将数据格式化：

1. 将数据格式化为张量。
2. 特征工程。
3. 数据标准化，将张量的取值缩放为较小的值，比如在 [-1, 1] 区间或 [0, 1] 区间。

4.5.5　开发比基准更好的模型

1. $统计功效(statisticalpower)$，即开发一个小型模型，它能够打败纯$随机的基准(dumbbaseline)$。

   例如：在 MNIST 数字分类的例子中，任何精度大于 0.1 的模型都可以说具有统计功效。

2. 选择三个关键参数来构建第一个工作模型：
   • 最后一层的激活。它对网络输出进行有效的限制。
   • 损失函数。它应该匹配你要解决的问题的类型。
   • 优化配置。你要使用哪种优化器？学习率是多少？大多数情况下，使用 rmsprop 及其默认的学习率是稳妥的。
     

4.5.6　扩大模型规模：开发过拟合的模型

开发一个$过拟合的模型$：

• 添加更多的层。
• 让每一层变得更大。
• 训练更多的轮次。

要始终监控$训练损失$和$验证损失$，以及你所关心的指标的训练值和验证值。如果你发现模型在验证数据上的性能开始下降，那么就出现了过拟合。

4.5.7　模型正则化与调节超参数

1. $过程$：不断地调节模型、训练、在验证数据上评估（这里不是测试数据）、再次调节模型，然后重复这一过程，直到模型达到最佳性能。
2. $可选方法$：
   • 添加 dropout。
   • 尝试不同的架构：增加或减少层数。
   • 添加 L1 和 / 或 L2 正则化。
   • 尝试不同的超参数（比如每层的单元个数或优化器的学习率），以找到最佳配置。
   • （可选）反复做特征工程：添加新特征或删除没有信息量的特征。
3. 每次使用验证过程的反馈来调节模型，都会将有关验证过程的$信息泄露$到模型中。
   • 如果只重复几次，那么无关紧要；
   • 但如果系统性地迭代许多次，最终会导致模型对验证过程过拟合（即使模型并没有直接在验证数据上训练）。这会降低验证过程的可靠性。
4. 一旦开发出令人满意的模型配置，你就可以在$所有可用数据（训练数据+验证数据）$上训练$最终的生产模型$，然后在测试集上最后评估一次。
5. 如果测试集上的性能比验证集上差很多，$需要换用更加可靠的评估方法$，比如重复的 K 折验证。