西瓜书学习笔记 第二章

2.1 经验误差与过拟合

m个样本中有a个样本分类错误

错误率(error rate): E = a/m

精度(accuracy)= 1 - 错误率 = 1 - E = 1 - a/m

误差(误差期望):学习器的预测输出与样本的真实输出的差异;

训练误差(training error)或经验误差(empirical error):学习器在训练集上的误差;

泛化误差(generalization error):学习器在新样本上的误差。

泛化性能

过拟合(overfitting):学习的太好将训练样本中不太一般(普适)的特性都学到了。过拟合是机器学习面临的关键障碍

欠拟合(underfitting):学习能力太低,没有学好

2.2 模型评估方法(如何做模型选择)

假设测试样本是从真是分布中独立同分布采样而得。

使用测试集(testing set)来测试学习器对新样本的判别能力。用测试误差(testing error)作为泛化误差的近似。

Note:测试集应该尽可能与训练集互斥,即测试样本尽量不在训练集中出现且未在训练过程中使用过。

如何对数据集进行分割使得测试集和训练集互斥呢?

设数据集D包含m个样例:D = {(x1, y1), (x2, y2), …, (xm, ym)} 其中xi是向量表示第i个样例所包含的特征,yi是标量是真实分布中的结果对于分类问题是类别,对于回归问题是值。

对D做适当分割处理从中产生出训练集S和测试集T

适当的处理方法(分割方法)有:

  • 留出法(hold-out)
  • 交叉验证法(cross validation)
  • 自助法(bootstrapping):在数据集较小、难以有效划分训练/测试集时很有用。对集成学习等方法有很大好处

2.2.4 调参与最终模型

2.3 性能度量(模型泛化能力评价)从另一个角度对比模型

性能度量(performance measure)是衡量模型泛化能力的评价标准。

回归任务通常使用均方误差(mean squared error)

2.3.1 错误率与精度

错误率:衡量了有多少比例的瓜被判别错误

2.3.2 查准率(准确率,percision)、查全率(召回率,recall)、F1

“挑出的西瓜中有多少比例是好瓜”或“所有好瓜中有多少比例被挑了出来”

查准率P:预测正例中真实正例占用的比例,挑出的西瓜中有多少比例是好瓜。

P = 预测命中真实正例/预测正例

召回率R:所有好瓜中有多少比例被挑了出来。

R = 预测命中真实正例/真实正例

F1 = (2 x P x R)/(P + R)

F b = ( 1 + b 2 ) ∗ P ∗ R ( b 2 ∗ P ) + R F_b = \frac{(1 + b^2) * P * R}{(b^2 * P) + R} Fb=(b2P)+R(1+b2)PR, 其中 b > 0

  • 当b > 1时,查全率有更大的影响
  • 当b < 1时,查准率有更大的影响

2.4 比较检验

统计假设检验(hypothesis test)为我们进行学习器性能比较提供了重要依据。基于假设检验结果我们可推断出,若在测试集上观察到学习器A比B好,则A的泛化性能是否在统计意义上优于B,以及这个结论的把握有多大。

本节以错误率e作为性能度量的指标

  • 假设检验
  • 交叉验证t检验
  • McNemar检验
  • Friedman检验与Nemenyi后续检验

2.5 偏差与方差(模型“为什么”具有这样的泛化性能)

偏差-方差分解(bias-variance decomposition)是解释学习算法泛化性能的一种工具。其说明泛化性能是由:

  • 学习算法的能力
  • 数据的充分性
  • 学习任务本身的难度

所共同决定的。

泛化误差 = 偏差 + 方差 + 噪声

  • 偏差:度量了学习算法的期望预测与真实结果的偏离程度,即刻划了学习算法本身的拟合能力
  • 方差:度量了同样大小的训练集的变动所导致的学习性能的变化,即刻划了数据扰动所造成的影响
  • 噪声:表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界,即刻划了学习问题本身的难度。

你可能感兴趣的:(机器学习)