《统计学习方法》SVM约束最优化的错误

函数间隔和几何间隔的不同

按照统计学习方法这本书的说法

函数和几何间隔之间其实是一个线性的映射

其中 是函数间隔, 是几何间隔

而且几何间隔的定义是

其实我觉得他这样定义有问题


约束最优化问题的表达无法理解

书上说原问题可以表述为下面的最优化问题

但是其实约束项的左右两边是一样的()。。。

看着十分奇怪

就算之后用函数间隔替换了几何间隔, 但是还是有同样的问题:

那这样的话函数间隔还有什么意义。。。


我认为的更好的解释

函数间隔隐藏了“分类正确”这个条件

按照定义来说,几何间隔应该是不考虑分类正确与否的

举个例子, 如果正例(+1)被误分类到的区间里面了,那么函数间隔, 几何间隔

所以这两个之间的关系并不只是线性缩放, 并且保持符号相同的关系。可能符号会发生改变

也就是说“函数间隔”隐藏了“分类正确这个大前提”, 所以

原问题的新表述

所以几何间隔应该满足“值永远为正数”这个条件

而约束最优化问题应该被如此表述:

  1. 优化目标:最大化几何间隔
  2. 约束条件:分类正确
  3. 约束条件: 每个训练样本点的距离至少是

约束条件左边的式子的意义是:“在分类正确的条件下的几何距离”,相较于右边式子多了一个条件

所以有

约束条件里面的可以左右消除

和书上的原理一样, 因为|wx+b|对于解没有影响, 所以可以取, 于是有

你可能感兴趣的:(《统计学习方法》SVM约束最优化的错误)