监督学习 - 笔记

监督学习中
输入输出空间可以是有限元素的集合

每一个输入实例 （instance） 
由特征向量 feature vector 表示 
所有特征向量存在的空间称未特征空间 feature space

特征向量

一个特征向量

第i个特征向量

训练集 （代表输入特征向量，y代表输出）

联合概率分布

P（X|Y） 表示分布

thinking：统计学习假设数据存在一定的假设规律，XY具有联合概率分布的假设就是监督学习
关于数据的基本假设

假设空间

监督学习目的是学习一个由输入到输出的映射，称为模型
模式的集合就是假设空间(hypothesis space)
概率模型:条件概率分布P(Y|X), 决策函数:Y=f(X)

监督学习利用训练数据机学习一个模型，在用模型对样本集进行预测

在这个过程中需要训练数据，而训练数据集往往是人工给出的，所以称之为监督学习

监督学习又分为 学习 和 预测两个阶段

参考： 李航-《统计学习方法》