关于VC维的整理

VC维是统计学习理论中的一个核心概念，它是目前为止对函数集学习性能的最好描述指标。

VC维对于一个指示函数集来说，如果其生长函数是线性的，则它的VC维为无穷大；而如果它的生长函数以参数为h的对数函数为上界，则函数集的VC维是有限的且等于h。由于VC维是研究人员Vapnik和Chervonenkis在1958年发现的，所以，就取他们两人名字的首字母来来组成了这个名字。

研究人员通过分析得出结论：经验风险最小化学习过程一致的必要条件是函数集的VC维有限，且这时的收敛速度是最快的。这样的解释或许不那么直观，下面给出它等价的更直观的定义：

假如存在一个h个样本的样本集能够被一个函数集中的函数按照所有可能的2^h种形式分为两类，则称函数集能够把样本数为h的样本集打散（shattering）。指示函数集的VC维就是用这个函数集中的函数所能够打散的最大样本集的样本数目。也就是说，如果存在h个样本的样本集能够被函数集打散，而不存在h+1个样本集能够被函数集打散，则函数集的VC维就是h。如果对于任意的样本数，总能找到一个样本集能够被这个函数集打散，则函数集的VC维就是无穷大。

遗憾的是，目前尚没有通用的关于如何计算任意函数集的VC维的理论，只有对一些特殊的函数集的VC维可以准确知道。

VC维更详细的解释：http://www.svms.org/vc-dimension/