统计学习方法读书笔记--概论

定义

• 统计学习==统计机器学习

方法分类

• 监督学习
• 无监督学习
• 半监督学习
• 强化学习

三要素

• 模型
• 策略
• 算法

步骤

1. 得到一个有限的训练数据集合;(原始数据)
2. 确定假设空间,即学习模型的集合;(是分类问题,还是回归问题)
3. 确定模型选择的准则,即学习的策略;(选择什么样的分类器呢?)
4. 实现求解最优模型的算法,即学习的算法;(分类器的参数怎么求?)
5. 通过学习方法选择最优模型;(各种模型,哪个是最优的?)
6. 利用学习的最优模型对新数据进行预测或分析;(应用)

基本概念

输入空间:

x=(x(1),x(2),...,x(i),...,x(n))T

+ x(i) 表示 x 的第 i 个特征, x(i) 与 xi 不同,通常用 xi 表示多个输入变量中的第 i 个.即

$$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)})^T$$

监督学习

• 从训练数据集合中学习模型,对测试数据进行预测,训练数据由输入与输出对组成,训练集通常表示为

  T=(x1,y1),(x2,y2),...,(xn,yn)
  • 测试数据也由相应的输入与输出对组成,输入与输出对又称样本或样本点;
    

  • 损失函数

    • 度量模型一次函数的好坏;
    • 0-1损失函数
      
      L(Y,f(x))={ 1,Y≠f(X)0,Y=f(X)
    • 平方损失函数
      
      L(Y,f(x))=(Y−f(X))2
    • 绝对损失函数
      
      L(Y,f(x))=∣∣(Y−f(X))∣∣
    • 对数损失函数
    L(Y,P(Y|X))=−logP(Y|X)

    风险函数

    • 度量平均意义下模型预测的的好坏;等价于损失函数的期望值;
    Rexp(f)=Ep[L(Y,f(X))]=∫x<yL(y,f(x))P(x)dxdy

    经验风险

    • 模型 f(X) 关于训练数据集的平均损失称为经验风险或者经验损失,记作 Remp :
      
      Remp(f)=1N∑1NL(yi,f(xi))

    经验风险最小化

    • 经验风险最小化的策略认为,经验风险最小的模型就是最优模型;
      
      minf∈γ=1N∑1NL(yi,f(xi))

    结构风险最小化

    • 为了防止过拟合而提出的策略,等价于正则化,结构风险在经验风险上表示模型复杂度的正则化项或者罚项.定义为:
    Rrsm(f)=1N∑1NL(yi,f(xi))+λJ(f)

    模型选择与评估

    训练误差

    • 模型关于训练数据集的平均损失

    测试误差

    • 模型关于测试数据集的平均损失

    过拟合

    • 一味提高对训练数据的预测能力,所选模型的复杂度往往会比真模型更高.这种现象称为过拟合.
    • 表现:参数很多,模型复杂. 对未知数据的泛化能力差;

    正则化与交叉验证

    • 正则化: 加一个惩罚项,模型越复杂,惩罚项值越高;
    • 交叉验证:将数据集分为训练集和测试集,反复进行训练测试以及模型选择;

    生成模型与判别模型

    简单区分

    • 生成模型由概率确定,判断模型由值确定

    混淆矩阵

    • TP 将正类预测为正类数;
    • FN 将正类预测为负类数;
    • FP 将负类预测为正类数;
    • TN 将负类预测为负类数;

    精确率

    • 在识别为正类的数据中,真正的正类占的比率
    P=TPTP+FP

    召回率

    • 在所有正类中,被识别出来的正类所占比率;
    P=TPTP+FN