机器学习 模型的评估与选择-经验误差

1、模型的评估

机器学习算法的基本目标是在训练样本的基础上进行泛化，即成功解释之前从未“见过”的数据。不同的算法训练的模型的预测效果不同。因此，确定构造的模型好坏，是机器学习中建立模型之前的关键步骤。

模型的好坏主要看测试数据集训练的结果是否精确，模型的测试误差是否最小，我们可以通过调整不同的参数（如：学习率，权重等）来使误差梯度下降到最小值，即不断地反复迭代直至模型到达最优解。

2、训练集与测试集和验证集

（1）划分训练集和测试集的目的
如果我们要构建一个用于预测明天天气的机器学习模型，用于预测明天天气的好坏，首先需要通过以前的天气数据集去训练模型，并且还要确定模型的可靠性，但是我们不能用训练集的数据再测试模型的精确度，即自己去测试自己，是没有具体的参考意义的，我们需要用新的数据集去测试评估模型。所以通常将我们的数据样本分为两部分：训练集和测试集，其划分比为：训练集占70%或80%，测试集占30%或20%。

（2）数据集的划分
数据划分不同的占比对训练效果没有较大的影响，只要保证不能将训练的数据用于测试就可以，还有确定我们需要如何划分训练集和测试集，考虑到数据在局部区域内呈现规律变化，所以，通常我们在划分数据集之前，将数据样本的顺序打乱，然后取其中70%为训练集和30%为测试集或者也可以利用随机函数取得训练集和测试集，尽可能得让测试集包含所有的种类数据。因此：数据集的划分有四种方法：留出法，交叉验证法，留一法，自助法。

（3）验证集
在机器学习中，模型的参数可能达到上千个，所以，为了尽可能的让模型靠近真实结果，我们需要一些数据集去测试，让其不断的调整学习的方向，减小训练误差估计的泛化误差，从而使结果更加精确，减少人工调参的工作量。所以我们可以预留一部分数据集（训练数据和测试数据之外）进行模型选择。而这部分数据为验证集。

（4）相关术语

• 泛化能力： 机器学习的目标是使学得的模型能够很好的适用于新的样本，而不是仅仅在训练样本上工作的很好。学得的模型对新样本（即新鲜数据)的适应能力称为泛化能力。通常期望经训练样本训练的网络具有较强的泛化能力，也就是对新输入给出合理响应的能力。
• 错误率(error rate)： 分类错误的样本占样本总数的比例（即如果在m个样本中有a个样本分类错误，则错误率E = a / m）。
• 精度(accuracy)： 分类正确的样本占样本总数的比例（1 - a/m，即精度 = 1 - 错误率）。
• 误差(error)：学习器的预测输出与样本的真实输出之间的差异。
• 训练误差(training error) / 经验误差(empirical error)： 学习器在训练集上的误差。
• 泛化误差(generalization error)：即测试误差，学习器在测试集上的误差。

泛化误差越小意味着新样本预测的准确性越高，即尽可能使训练误差最小化。