机器学习基石 6.3 Bounding Function: Inductive Cases

1. Estimating $B(4,3)$

写一个程序把$B(4,3)$暴力算出来。
得到$B(4,3)=11$。

给$B(4,3)$的这11种dichotomy根据$x_4$是否成对出现重新排序，橙色表示$x_4$成对出现，且前三个位置全部一样，紫色表示不能找到前三个全部一样的使$x_4$成对出现的情况。

设橙色的个数为$2\alpha$，紫色的个数为$\beta$。
由于前3个也要满足任意三个不能shatter，所以
$\alpha +\beta ⩽B(3,3)$。

由于在橙色部分$x_4$已经成对出现了，即已经被shatter了，而且$B(4,3)$还要满足任意3个不能shatter，所以对于前三个就要满足任意2个不能shatter，所以$\alpha ⩽B(3,2)$。

2. Putting It All Together

3. Bounding Function: The Theorem

对上面得到的结果应用数学归纳法，可以得到

实际上这里的“$⩽$”可以用“$=$”替换。只要再算出其下界即可。

这就证明了$B(N,k)$是一个多项式函数。

4. The Three Break Points

前两个模型的$m_{\mathcal{H}}$符合上面推导出的上限。然而2D perceptrons的$m_{\mathcal{H}}$具体长什么样还是不知道，但是我们知道它的break point是4。

只要知道一个break point，那么$m_{\mathcal{H}}$的增长速度最多也就和多项式一样。

5. Fun Time

注意，第四个选项是对的，这时是严格小于的关系。