SVM第四课

上节课学到：

将求解超平面的问题转化为如下问题

图片.png

引入

拉格朗日乘子法

(求解有约束条件下的最优化问题的算法)

拉格朗日函数

拉格朗日函数

由于：

图片.png

所以：

图片.png

因此，原问题为极小极大问题：

图片.png

原问题的对偶问题，是极大极小问题：

图片.png

由于约束条件是线性的，而目标函数是凸函数（二次），所以对偶问题的解就是原问题的解，这个在凸优化部分有证明，这里先留下疑问~

现在求解以上问题，首先确定大致思路如下：

• 先求最小问题，L(w, b, a)，分别对w和b求偏导，并令偏导等于0，得到一个w = balabala 和一个 b = balabala 的式子
• 将该式子代回 L(w, b, a)，会将w和b消掉（一定会？），这样就得到一个关于a的式子——L(a)
• 对L(a)求关于a的导数，就可以得到解

求解步骤

• 将拉格朗日函数 L(w, b, a) 分别对w和b求偏导，并令偏导等于0：

图片.png

图片.png

• 代入w和b，计算拉格朗日的对偶函数