机器学习基石 7.4 Interpreting VC Dimension

VC Bound Rephrase: Penalty for Model Complexity

VC Bound：

改述：好事情发生（GOOD）

gen.error：generalization error
得到$E_{out}$的范围。

根号这一项被叫做model complexity。

THE VC Message

横轴是VC dimension，纵轴是Error。
model complexity随着VC dimension的变大而变大。
VC dimension增大后，可以shatter的点变多（hypothesis变强），$E_{in}$减小。
VC dimension增大后，模型复杂度（model complexity）增大，导致要付出的代价变大。
所以$E_{out}$通常会先减后增。

强大的$\mathcal{H}$（$E_{in}$很小）并不总是好的。

VC Bound Rephrase: Sample Complexity

VC Bound：

一个例子：

然而实践上一般$10d_{VC}$的资料就够用了。

Looseness of VC Bound

上面的例子说明了VC Bound实际上是很宽松的。

原因：

对于不同的模型，VC Bound 的宽松程度实际上是差不多的。

Fun Time