机器学习基石(林轩田)第六章 笔记与感悟总结

6.1 Theory of Generalization - Restriction of Break Point

机器学习领域机器是如何做到举一反三的本领的?   dichotomies 是二分类 ,即label只有(o,x)这种。

例如positive rays,意思是一侧全是正,另一侧全是负,而出现ox 这种情景时,则两个点的mh(2)=3,实现了小于2^2的目的。突破口是两个点,则k=2.

例如 2D perception,在四个点的时候,有突破口。

机器学习基石(林轩田)第六章 笔记与感悟总结_第1张图片

只有一个数据点,则只有1种。有两个数据点,最多有三种dichotomies。

当有三个点时,1 dichotomy,没有违反。随便找两个点,都不能产生四种不同的情形,即没有shatter。

通俗的讲。k=2,的shatter就是 任意两个点,所有的组合情况都出现(oo,xx,ox,xo)。

同理,k=3,shatter就是不能同时出现8个点。


机器学习基石(林轩田)第六章 笔记与感悟总结_第2张图片

机器学习基石(林轩田)第六章 笔记与感悟总结_第3张图片

 

只要有k的话,说不定能让mH(N)也可能是一个多项式。


机器学习基石(林轩田)第六章 笔记与感悟总结_第4张图片


机器学习基石(林轩田)第六章 笔记与感悟总结_第5张图片



6.2 Theory of Generalization - Bounding Function - Basic Cases

我们看上限的函数,Bounding Function。是break point =k时(已知)时,最大的可能mH(N)值。

当k确认时,我们得到的一个序列中都不能出现类似k=2时的(oo,xx,ox,xo)的情形。

这样就不用对Hyposises(是positive intervals?等具体的形式)无关,只需要看B(N,3),

机器学习基石(林轩田)第六章 笔记与感悟总结_第6张图片

例如当k=1时,N去所有,都全为1,见第一列。因为只能出现全为正的情景。

而当K=N+1的那种情况,则说明break point 还要大于当前的点的数目,故值为2^N次。

而对角线的情况,则是  减 了一种情况,即 xxxxx…… 的情况。

机器学习基石(林轩田)第六章 笔记与感悟总结_第7张图片

机器学习基石(林轩田)第六章 笔记与感悟总结_第8张图片

注意,我们B(4,4)的值是15,然而对于2D perception而言,只有14种,故为严格小于。


6.3 Theory of Generalization - Bounding Function - Inductive

机器学习基石(林轩田)第六章 笔记与感悟总结_第9张图片

我们想通过建立B(4,3)和B(3,?)之间的联系。

算出的结果是11,。

机器学习基石(林轩田)第六章 笔记与感悟总结_第10张图片

机器学习基石(林轩田)第六章 笔记与感悟总结_第11张图片


机器学习基石(林轩田)第六章 笔记与感悟总结_第12张图片


我们得到了最后的结论,mH(N)在break point 存在的情况一下,一定不会超过poly(N)

机器学习基石(林轩田)第六章 笔记与感悟总结_第13张图片

应用:我们不知道2D perceptrons 的成长函数是多少,但是我们能够知道的是,它的上线一定是(1/6)*N^3+……

机器学习基石(林轩田)第六章 笔记与感悟总结_第14张图片


6.4 Theory of Generalization - A Pictorial Pr

我们能不能把成长函数直接带入解决?答:不能。我们只能得到如下图的第二个公式的版本。

机器学习基石(林轩田)第六章 笔记与感悟总结_第15张图片

我们接下里有三个步骤,来证明这三个多余的常数。

第一个问题难点在于:Ein有限,而Eout无限,平面上有无限多条线。

我们怎么让有限多个点来区分无限多条线?我们用D'(N个点)来取代Eout.

E'in和Eout很接近,假设今天有个坏事情发生,有很大的机会,Ein和E'in隔的很远。我们就以拿来用,就可以用E'in来替代Eout。1/2的系数是用来表示是大概率发生。

我们成功的将Eout换掉了。

机器学习基石(林轩田)第六章 笔记与感悟总结_第16张图片


我们要换成有限多种,我们在乎的坏事情都只需要D和D' 有关。

我们这个平面都是数据,坏事就是一团。union bound 则是认为坏事情没有重叠。而现在我们把几乎一样的坏事情归为一点。

机器学习基石(林轩田)第六章 笔记与感悟总结_第17张图片

我们已经有固定的H了,我们想知道两次的sampling的差别。我们怎么知道两次抽样的差别?

机器学习基石(林轩田)第六章 笔记与感悟总结_第18张图片


我们最后证明出了机器学习中常用的一种公式。

机器学习基石(林轩田)第六章 笔记与感悟总结_第19张图片

机器学习基石(林轩田)第六章 笔记与感悟总结_第20张图片


总结本章的内容,我们介绍了break point,并知道了B能限制mH,知道了B的上界是poly

并且用第四节证明了mH(N)能替代M

机器学习基石(林轩田)第六章 笔记与感悟总结_第21张图片




你可能感兴趣的:(机器学习基石(林轩田)第六章 笔记与感悟总结)