李航《统计学习方法》第二版-第1章 统计学习及监督学习概论1.6-1.8 浅见
李航《统计学习方法》第二版-第1章 统计学习及监督学习概论1.6-1.8 浅见
- 1.6 泛化能力
- 1.7 生成模型和判别模型
- 1.8 监督学习应用
1.6 泛化能力
也就是我们所说的对未知数据的适应能力，预测能力，这个才是我们要的，而不是一味的去迎合训练集。举个例子：我们考试前做的一堆模拟题，貌似我们每道题目都弄懂了，会做了，但是真正考试的时候遇到的题目是没见过的，这个时候才是表现出真正的实力，是时候展现真正的技术了，这个就是泛化能力，泛化能力越大，遇到没见过的题越会做，考试当然分数越好啦，如果只会做模拟题，换个题就不会了，那还是没学透啊。
这里还提出了一个泛化误差的概念，其实就是前面提到过的期望损失。泛化能力是通过研究泛化误差的概率上界得来的，泛化误差上界通常有以下性质，样本越多，上界越趋向于0，假设空间越大，泛化就越大。可以理解为样本越多，我就越能接近真实的分布，误差就越小。假设空间越大，可选模型就越多，要选出好的模型就越难，误差就越大。
对于二分类问题，当假设空间是有限个函数的集合 F = { f 1 , f 2 , . . . , f d } F=\{f1,f2,...,f_d\} F={f1,f2,...,fd}时，对于任意个函数 f ∈ F , 至 少 以 概 率 1 − δ ， 0 < δ < 1 , 以 下 不 等 式 成 立 f\in F,至少以概率1-\delta，0<\delta<1,以下不等式成立 f∈F,至少以概率1−δ，0<δ<1,以下不等式成立：
R ( f ) ≤ R ^ ( f ) + ϵ ( d , N , δ ) R(f)\leq \hat{R}(f)+\epsilon(d,N,\delta) R(f)≤R^(f)+ϵ(d,N,δ)
其中: ϵ ( d , N , δ ) = 1 2 N ( l o g d + l o g 1 δ ) \epsilon(d,N,\delta)=\sqrt {\frac{1}{2N} (logd+log\frac{1}{\delta})} ϵ(d,N,δ)=2N1(logd+logδ1)
左端 R ( f ) R(f) R(f)是泛化误差，右边为泛化误差上界， R ^ ( f ) \hat{R}(f) R^(f)是训练误差， ϵ ( d , N , δ ) \epsilon(d,N,\delta) ϵ(d,N,δ)是N的单调递减函数，是d的递增函数，N代表样本数量，d代表假设空间容量。只比等式说明了泛化误差的上界跟样本数量呈正比，跟假设空间容量成反比。具体证明我就不证明啦，书上有，可以看书或者网上搜搜。
1.7 生成模型和判别模型
监督学习方法又可分为生成方法和判别方法，对应生成模型和判别模型。
生成方法是由训练数据学习联合概率分布 P ( X , Y ) P(X,Y) P(X,Y)，求出条件概率分布 P ( Y ∣ X ) P(Y|X) P(Y∣X)作为模型，也就是生成模型，怎么理解呢，就是说因为是监督学习嘛，训练集是X,Y一对一对的，那就对应一个联合概率分布，可以通过训练集去学习，然后 P ( X ) P(X) P(X)是给定的，就可以知道X和Y的生成关系，什么样的X会生成Y，所以就是：
P ( Y ∣ X ) = P ( X , Y ) P ( X ) P(Y|X)=\frac{P(X,Y)}{P(X)} P(Y∣X)=P(X)P(X,Y)
可以很直觉的理解为，我不是要知道Y是什么，而是要知道怎么样的X生成怎么样的Y，是搞清楚X,Y之间的关系，这样就可以根据X生成很多Y啦。典型模型有朴素贝叶斯和隐马尔科夫模型，后面会有文章说到。
判别方法是直接学习决策函数 f ( X ) f(X) f(X)或者条件概率分布 P ( Y ∣ X ) P(Y|X) P(Y∣X)作为模型，主要关心的是输入X，要预测什么样的Y输出。貌似跟上面的生成模型好像很类似，但是判别方法一般还是判别为主，不同的X可以是同样的预测Y，但是生成方法应该是希望不同的X，有不同的Y啦，主要还是要找出X,Y的联合概率分布 P ( X , Y ) P(X,Y) P(X,Y)，这对CP的分布，不知道这么理解对不对。
1.8 监督学习应用
主要应用是分类问题，标注问题，回归问题。
分类应用就是将数据分门别类，比人脸识别，语音识别，手写识别，新闻网页分类等等。
标注可以理解为输入一个序列，然后输出一个标记过的序列作为预测，通过标记样本来对序列里的每个样本分类。
回归问题就是输入和输出之间的映射关系。
好了，今天就到这里了，希望对学习理解有帮助，大神看见勿喷，仅为自己的学习理解，能力有限，请多包涵，部分图片来自网络,侵删。