机器学习基石 7.3 Physical Intuition of VC Dimension

Degrees of Freedom

$d+1$实际上是perceptron的维度。$\mathbf{w}$代表了hypothesis的自由度。
hypothesis的大小$M=|\mathcal{H}|$模拟了自由度。
$d_{VC}=d+1$代表了有效的二元分类的自由度。

Two Old Friends

从上面这两个例子可以看出$d_{VC}$大概等于自由的参数的个数，但不总是对的。

$M$ and $d_{VC}$

Fun Time

在$w_0=0$的情况下，$d_{VC}=d$。