统计学习以及监督学习概论

这里是我对这本书的总结

第一章

1.1统计学习

统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的学科。

统计学习的特点

	特点
1 平台	以计算机和网络为平台
2 研究对象	以数据为研究对象
3 目的	对数据进行预测和分析
4 方法	构建模型并应用模型进行预测与分析
5 学科基础	属于概率论，统计学，信息论，计算理论，最优化理论，计算机科学的交叉学科

 

实现统计学习方法的步骤：

（1）得到一个有限的训练数据集合

（2）确定包含所有可能的模型的假设空间，即学习模型的集合。

（3）确定模型选择的准则，即学习的策略

（4）实现求解最优模型的算法，即学习算法

（5）通过学习方法选择最优模型

（6）利用最优模型对新数据进行预测或者分析

1.2统计学习分类

1.2.1 基本分类

1.监督学习

从标注数据中学习预测模型的机器学习算法。

（1）输入空间、输出空间、特征空间

（2）联合概率分布

（3）假设空间

（4）问题的形式化

2.无监督学习

从无标注数据中学习预测模型的机器学习问题

3.强化学习

智能系统在与环境的连续互动中学习最优行动策略的机器学习问题。

4.半监督学习与主动学习

半监督学习

利用标注数据和未标注数据学习预测模型的机器学习问题

主动学习

机器不断主动给出实例让教师进行标注，然后利用标注数据学习预测模型的机器学习问题

1.2.2 模型分类

1.概率模型与非概率模型

概率模型 P(y|x)

非概率模型y=f(x)

在监督学习中概率模型是生成模型，非概率模型是判别模型。

2.线性模型与非线性模型

y=f(x)是线性函数，则为线性模型；是非线性函数，则为非线性模型。

3.参数化模型与非参数化模型

参数化模型：模型参数维度固定，模型可以由有限维参数完全刻画。

非参数化模型： 假设模型参数的维度不固定或者说无穷大，随着训练数据量的不断增加而不断增大。

1.2.3 算法分类

在线学习 ：每次接受的一个样本，进行预测，之后学习，并且不断重复该操作的机器学习。

批量学习：一次接受所有数据，学习模型，之后进行预测。

1.2.4 技巧分类

1.贝叶斯学习

2.核方法

1.3统计学习方法三要素

方法=模型+策略+算法

1.3.1 模型

确定要学习的条件概率分布或者决策函数。

1.3.2 策略

1.损失函数和风险函数

（1）0-1损失函数

（2）平方损失函数

（3）绝对损失函数

（4）对数损失函数
2.经验风险最小化和结构风险最小化

1.3.3算法

学习模型的具体计算方法

1.4模型评估和模型选择

1.4.1 训练误差与测试误差

1.4.2 过拟合与模型选择

1.5正则化与交叉验证

1.5.1正则化 

模型选择的典型方法是正则化。正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或者罚项。

1.5.2 交叉验证

1.简单交叉验证

2.S折交叉验证

3.留一交叉认证

1.6泛化能力

1.6.1 泛化误差

1.6.2泛化误差上界

1.7生成模型与判别模型

生成模型

判别模型

1.8监督学习应用

分类问题：输出变量Y取有限个离散值，预测问题便成为分类问题。输入变量X可以是离散的，也可以是连续的。

标注问题：输入变量是一个观测序列，输出是一个标记序列或者状态序列

回归问题：预测输入变量和输出变量之间的关系