统计学习方法——李航

学习算法,是为以后工作中对RD同学工作内容有大致了解,不追求细节,想追也没那个能力~

第一章 统计学习方法概论

1.1  概论

统计学习的目的是对数据进行预测与分析,手段是构建模型,并应用模型进行预测与分析,前提是同类数据具有一定统计性。

实现统计学的方法步骤如下:

1.得到一个有限的训练数据集合

2.确定包含所有可能的模型的假设空间,即学习模型的集合

3.确定模型选择的准则,即学习的策略

4.实现求解模型的算法,即学习算法

5.通过学习方法选择最优模型

6.利用学习的最优模型对数据进行预测或分析

统计学习主要包括:监督学习,半监督学习,非监督学习,强化学习

1.2 监督学习

定义:学习一个模型,能够对任意给的输入,做出一个好的预测

1.3 统计学习三要素

统计学习三要素:模型,策略,算法

1.8 分类问题

分类问题是监督学习的一个核心问题,在监督学习中,当输出变量Y取有限个离散值时,预测问题便成为分类问题。

准确率 = 推送问题房源量/推送房源量

召回率 = 推送问题房源量/样本内总问题房源量

1.9 标注问题

标注也是一个监督学习的问题,可以认为标注问题是分类问题的一个推广,但是更复杂,输入是一个观测序列,输出是一个标记序列或状态序列

标注常用的统计学习方法:隐马尔科夫模型,条件随机场

1.10 回归问题

回归是监督学习的另一个重要问题,回归用于预测输入变量和输出变量之间的关系,表示输入和输出之间的映射函数

第二章 感知机

二类分类的线性分类传感器,输入为实例的特征向量,输出为实例的类别,取+1和-1值,感知机对应于输入空间中将实例划分为正负两分类的分离超平面。

策略是极小化损失函数

第三章 K近邻法

一种基本分类与回归算法,输入为实例的特征向量,对应特征空间的点,输出为实例的类别,可以取多类;

分类时,对于输入的点,根据其K个最近邻的训练实例的类别,通过多数表决等方式进行预测。

第四章 朴素贝叶斯法

是基于贝叶斯定理与特征条件独立假设的分类方法,对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入X,求出后延概率最大的输出Y。

第五章 决策树

基本的分类与回归方法,基于特征分类,可以认为是if-then的集合,通常包含三个步骤:特征选择,决策树的生成,决策树的修剪。

第六章 逻辑回归与最大熵模型

第七章 支持向量机

二类分类器,学习策略是间隔最大化,可形式化为一个求解凸二次规划的问题,等价于正则化的合页损失函数的最小化问题,支持向量机的学习算法是求解凸二次规划的最优化算法。

第八章 提升方法

在分类问题中,通过改变训练样本的权重,学习多个分类器,并将这些分类器进行线性组合,提高分类性能。

强可学习:一个类,存在一个多项式的学习算法能够学习他,并且正确率很高

弱可学习:一个类,存在一个多项式的学习算法能够学习他,但是正确率仅比随机预测高

将弱学习器,通过线性组合,生成强学习器

你可能感兴趣的:(统计学习方法——李航)