SVM→4.目标函数的求解

SVM→4.目标函数的求解

《SVM→4 .目标函数的求解 》

1. 原优化问题的拉格朗日函数是图 若x是二维的点，则w是二维的，a、b、y是一维的
   1. 原优化问题是凸优化问题
   2. 上述的拉格朗日函数是凸函数
2. 建立原优化问题的对偶问题：
   1. 求拉格朗日对偶函数
      1. 分别对w,b求偏导数令其等于0 
         1. →
         2. w是一个向量，在原优化问题中的1/2可以消掉这个2，这也是原优化问题目标函数除以2的原因，
         3. 求得的w是支持向量的线性组合，参考见第5课→SVM→SVM求解实例
      2. 代入拉格朗日函数中得
         2. 注意：代表点乘
      3. 最终得到
         2. 约束条件：图
   2. 建立对偶问题
      1. 可将转化为
      2. 转变为对偶优化问题的好处是：
         1. 约束条件变得简单了：不等式约束仅有a_i≥0，等式约束仅有y_i标量而没有复杂的x_i向量
         2. 将所有的x的信息放在(x_i•x_j)上，从而针对不同的分类问题使用不同的核
      3. 这个目标函数其实可以这么记：
3. 通过求解a*(最优的a 可以使用SMO算法求解),进而求解w*和b*确定超平面方程和分类决策函数
   1. w和b是图只能利用支持向量来求b，因为在原优化问题约束条件中，等号只有在样本为支持向量时成立
   2. 分离超平面可以写成
   3. 分类决策函数可以写成图
      1. 分类决策函数只依赖于输入x和所有支持向量训练样本的内积 
4. 上述推导需满足KKT条件：
   1. a_i≥0
   2. 1-y_i(wx_i+b)≤0
   3. a_i( 1-y_i(wx_i+b) )=0

• 当样本为支持向量时，a_i>0，此时1-y_i(wx_i+b)=0
• 当样本不是支持向量时，a_i=0，此时1-y_i(wx_i+b)<0

扩展：

1. 符号函数（Sign function，简称sgn）是一个逻辑函数，用以判断实数的正负号。为避免和英文读音相似的正弦函数（sine）混淆，它亦称为Signum ['saɪɡnəm] function。其定义为：

2. 序列最小最优化（ sequential minimal optimization. SMO) 算法 将原问题不断分解为子问题并对子问题求解， 进而达到求解原问题的目的 。
   
   1. 将多个变量的函数求极值问题转化为单个变量的函数求极值
   2. 我们的目标函数包含a_i(i=1,...N)，我们将其中一个变量当做变量，剩余的变量随机赋初始值，则目标函数变为单变量的函数求极值问题，比如我们求出了a₁*
   3. 此时我们再假设a2为变量，剩余的变量随机赋随机值(a1是a1*)，再进行求解
   4. 不停地迭代，直至解收
   5. 注 意， 子问题的两个变量中只有一个是自由变量，假设a₁变量，a₂,a₃,a₄,...a₅固定，那么由于可知，即变量a₁已经被解出， 所以我们需要假设两个变量而不是假设一个。

posted on 2018-10-08 08:35 LeisureZhao 阅读(...) 评论(...) 编辑 收藏