统计学习提纲（持续更新）

统计学习

指导学习（评估f）

应用

• 预测

  • 预测的准确性，不关注解释性

    • 股票

• 推断

  • 哪些自变量和因变量相关
  • 因变量与每个预测因子之间的关系
  • 因变量与自变量是否能用一个线性方程概括

方法

• 按是否为“参数方法”分类

  • 参数方法

    • 线性模型（欠光滑，受限的，强解释性）

      • 最小二乘法

  • 非参数方法

    • 薄板样条（光滑的，非受限的，弱解释性）

• 按“光滑度、解释性”分类

  • 解释性强

    • lasso回归
    • 线性拟合

  • 光滑度强

    • 半线性

      • 广义可加模型（GAM）

    • 完全非线性

      • 样条法
      • 提升法
      • 装袋法
      • 核函数的支持向量机

种类

• 定量（回归问题）

  • 最小二乘拟合

• 定性（分类问题）

  • 逻辑斯蒂
  • 贝叶斯分类器

评价模型精度

• 定量

  • 均方误差

    • 训练均方误差
    • 测试均方误差

  • 自由度（光滑度）变大

    • 过拟合

  • 交叉验证

    • 使用训练集估计测试均方误差

  • 偏差-方差权衡

    • 方差（Var）

      • 用另一个不同的训练数据集估计f时，估计函数的改变量

    • 偏差（Bios）

      • 为了选择一个简单的模型逼近真实函数而被带入的误差

• 定性

  • 错误率

    • 训练错误
    • 测试错误

非指导学习

聚类分析