统计学习方法第二版读书笔记——第一章 统计学习及监督学习概论

统计学习的分类

基本分类

统计学习一般包括监督学习、无监督学习、强化学习，有时还有半监督学习和主动学习。

按模型分类

概率模型和非概率模型【确定性模型】

概率模型与非概率模型的定义：
在监督学习中，概率模型取条件概率分布形式$P(y|x)$，非概率模型取函数形式$y=f(x)$。 在监督学习中，概率模型是生成模型，非概率模型是判别模型。 【弄清楚模型的目标函数重要性】
在无监督学习中，概率模型取条件概率分布形式$P(z|x)$或者 $P(x|z)$，非概率模型取函数形式$z=g(x)$，其中，$x$是输入，$z$是输出。
概率模型：决策树、朴素贝叶斯、隐马尔可夫、条件随机场、概率潜在语义分析、潜在狄利克雷分配、高斯混合模型
非概率模型：感知机、支持向量机、k近邻、AdaBoost、k均值、潜在语义分析、神经网络
逻辑回归即是概率模型又是非概率模型，关于逻辑回归即是概率模型也是非概率模型理解如下：
（1）逻辑回归属于非概率模型，是因为逻辑回归可以看成单层神经网络模型，而神经网络属于非概率模型，故而逻辑回归是一个非概率模型。
（2）逻辑回归属于概率性模型，是因为逻辑回归模型的输出是有概率意义的。

判别式模型和生成式模型

这个东西一直在弄混，看了第二版之后比第一版清晰多了。判别式模型是由数据直接学习决策函数$f(x)$或者条件概率分布$P(Y|X)$作为预测的模型。判别式关心的是给定输入$X$，预测输出什么样的$y$。
生成模型是指给定了输入$X$生成了$Y$的关系。典型生成模型有朴素贝叶斯和隐马尔可夫。具体啥叫生成我的理解是，取$max(probility)$的那个。
具体在一个知乎问答上一个高票答案的图@politer很形象，判别式是直接给到一个分界线，一边为正例，一边为负例。而对于生成式来说，是先看样本分在两边的概率，取概率大的那个。

${}_{【此图片来自于知乎https://www.zhihu.com/question/20446337@politer的回答图】}$

Ref：
1、https://www.jianshu.com/p/dce9f1af7bc9
2、 https://www.zhihu.com/question/20446337 @politer