（统计学习方法|李航）第一章统计学习方法概论七八九十节——生成模型与判别模型，分类问题，标注问题，回归问题

目录

一，生成模型与判别模型

二，分类问题

三，标注问题

四，回归问题

---

一，生成模型与判别模型

P（X,Y）是联合概率分布

只要是出现联合概率分布，就一定是生成模型

 

判别方法就是直接去求概率

 

二，分类问题

评估分类器性能的指标一般是分类准确率

其定义是：对于给定的测试数据集，分类器正确分类的样本数和总样本数之比，也就是损失函数是0-1损失时候，测试数据集上的准确率。

 

画图更好记：
background：
根据特征值预测是否会被女孩子喜欢， 

• 结果中预测正确的就是predict（精确率）
• 在被女孩子喜欢的人中被预测出来的就是true（召回率）

三，标注问题

标注问题也是一个监督学习问题。可以认为标记问题是分类问题的一个推广。

标注问题的输入是一个观测序列，输出的是一个标记序列或状态序列。也就是说，分类问题的输出是一个值，而标注问题输出是一个向量，向量的每个值属于一种标记类型。

标注常用的机器学习方法有：隐性马尔可夫模型、条件随机场。

四，回归问题

回归用于预测输入变量和输出变量之间的关系：

特别是当输入变量的值发生变化时，输出变量的值随之发生的变化。

回归模型正是表示从输入变量到输出变量之间映射的函数。
回归问题的学习等价于函数拟合：

• 选择一条函数曲线使得很好地拟合已知数据且很好地拟合已知数据且很好地预测未知数据。
• 回归问题按照输入变量的个数，分为一元回归和多元回归；
• 按照输入变量和输出变量之间关系的类型即模型的类型，分为线性回归和非线性回归。

回归学习最常用的损失函数是平方损失函数，在此情况下，回归问题可以用最小二乘法求解。