统计学习方法——李航

学习算法，是为以后工作中对RD同学工作内容有大致了解，不追求细节，想追也没那个能力~

第一章 统计学习方法概论

1.1  概论

统计学习的目的是对数据进行预测与分析，手段是构建模型，并应用模型进行预测与分析，前提是同类数据具有一定统计性。

实现统计学的方法步骤如下：

1.得到一个有限的训练数据集合

2.确定包含所有可能的模型的假设空间，即学习模型的集合

3.确定模型选择的准则，即学习的策略

4.实现求解模型的算法，即学习算法

5.通过学习方法选择最优模型

6.利用学习的最优模型对数据进行预测或分析

统计学习主要包括：监督学习，半监督学习，非监督学习，强化学习

1.2 监督学习

定义：学习一个模型，能够对任意给的输入，做出一个好的预测

1.3 统计学习三要素

统计学习三要素：模型，策略，算法

1.8 分类问题

分类问题是监督学习的一个核心问题，在监督学习中，当输出变量Y取有限个离散值时，预测问题便成为分类问题。

准确率 = 推送问题房源量/推送房源量

召回率 = 推送问题房源量/样本内总问题房源量

1.9 标注问题

标注也是一个监督学习的问题，可以认为标注问题是分类问题的一个推广，但是更复杂，输入是一个观测序列，输出是一个标记序列或状态序列

标注常用的统计学习方法：隐马尔科夫模型，条件随机场

1.10 回归问题

回归是监督学习的另一个重要问题，回归用于预测输入变量和输出变量之间的关系，表示输入和输出之间的映射函数

第二章 感知机

二类分类的线性分类传感器，输入为实例的特征向量，输出为实例的类别，取+1和-1值，感知机对应于输入空间中将实例划分为正负两分类的分离超平面。

策略是极小化损失函数

第三章 K近邻法

一种基本分类与回归算法，输入为实例的特征向量，对应特征空间的点，输出为实例的类别，可以取多类；

分类时，对于输入的点，根据其K个最近邻的训练实例的类别，通过多数表决等方式进行预测。

第四章 朴素贝叶斯法

是基于贝叶斯定理与特征条件独立假设的分类方法，对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入X，求出后延概率最大的输出Y。

第五章 决策树

基本的分类与回归方法，基于特征分类，可以认为是if-then的集合，通常包含三个步骤：特征选择，决策树的生成，决策树的修剪。

第六章 逻辑回归与最大熵模型

第七章 支持向量机

二类分类器，学习策略是间隔最大化，可形式化为一个求解凸二次规划的问题，等价于正则化的合页损失函数的最小化问题，支持向量机的学习算法是求解凸二次规划的最优化算法。

第八章 提升方法

在分类问题中，通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类性能。

强可学习：一个类，存在一个多项式的学习算法能够学习他，并且正确率很高

弱可学习：一个类，存在一个多项式的学习算法能够学习他，但是正确率仅比随机预测高

将弱学习器，通过线性组合，生成强学习器