结构风险和经验风险

经验风险：

主要是计算目标函数存在的误差，最小经验风险是使得目标函数取得最小化的模型。

结构风险：（既考虑经验风险还考虑置信范围）

结构风险最小化(Structural Risk Minimization）是指把函数集构造为一个函数子集序列,使各个子集按照VC维的

大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围，取得实际风险的最小化。

即SRM准则。所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，

可以使学习机器在整个样本集上的期望风险得到控制。

总结

传统机器学习方法中普遍采用的经验风险最小化原则在样本数目有限时是不合理的。机器学习过程不但要使经验

风险最小，还要使VC维尽量小以缩小置信范围，才能取得较小的实际风险，即对未来样本有较好的推广性。在有限训

练样本下，学习机器的VC维越高则置信范围越大,真实风险与经验风险之间可能的差别越大.这就是为什么会出现过学

习现象的原因。

因此结构风险的考虑才是准确衡量机器学习模型的准确性。