林轩田《机器学习基石》课程笔记第七章-VC Dimension

林轩田《机器学习基石》课程笔记7-VC Dimension

一、概念

VC Dimension就是某假设集H能够shatter的最多的input的个数,即最大完全正确的分类能力。(也就是K-1,K为最小的break point)

林轩田《机器学习基石》课程笔记第七章-VC Dimension_第1张图片
由此可知一个VC-Dimension有限的假设函数集H,就是好的H。

二、VC Dimension of Perceptrons

证明两个不等式:
1、dvc<=d+1
2、dvc>=d+1
结论:dvc=d+1

三、Physical Intuition of VC Dimension

林轩田《机器学习基石》课程笔记第七章-VC Dimension_第2张图片
w又名features,即自由度,自由度是可以任意调节的,VC Dimension代表了假设空间的分类能力,即反映了H的自由度,产生dichotomy的数量,也就等于features的个数。

四、Interpreting VC Dimension

林轩田《机器学习基石》课程笔记第七章-VC Dimension_第3张图片
由之前的不等式推导出EOUT的上限。
林轩田《机器学习基石》课程笔记第七章-VC Dimension_第4张图片

model complexity即上不等式最右边项,可以得知并不是dvc越大能得到越好的效果。大致总结如下:
林轩田《机器学习基石》课程笔记第七章-VC Dimension_第5张图片
注:笔记参考作者:红色石头

你可能感兴趣的:(机器学习)