SVM求解之坐标上升算法（Coordinate Ascent）

SVM求解之坐标上升算法（Coordinate Ascent）及C++编程实现

                                

编程实现：

 #include <iostream>
 using namespace std;
 #define f(x1,x2,x3) (-x1*x1-2*x2*x2-3*x3*x3+2*x1*x2+2*x1*x3-4*x2*x3+6)
 int main()
 {
     double x1=1;
     double x2=1;
     double x3=1;
     double f0=f(x1,x2,x3);
     double err=1.0e-10;
     while (true)
     {
         x1=x2+x3;
         x2=0.5*x1-x3;
         x3=1.0/3*x1-2.0/3*x2;
         double ft=f(x1,x2,x3);
         if (abs(ft-f0)<err)
         {
             break;
         }
         f0=ft;
     }
     cout<<"@author:郑海波 email:[email protected]"<<endl;
     cout<<"\nmax{f(x1,x2,x3)}="<<f(x1,x2,x3)<<endl;
     cout<<"取得最大值时的坐标：\n(x1,x2,x3)=("<<x1<<","<<x2<<","<<x3<<")"<<endl;
     return 0;
 }

实验结果：

注意：求解函数的最小值的方法，与此方法基本相同。另外，该算法对初始值的选取不是非常敏感。对有些问题的求解非常适合。

源码下载：http://download.csdn.net/detail/nuptboyzhb/4909729

讨论：

第一：对于没有极大值和极小值的函数，本算法肯定计算不出来。但是，实际问题中，如果没有极大值或极小值，说明建立的模型是错误的。
第二：程序本身确实无法知道是最大值还是最小值，因为求解最大值和最小的方法一模一样，都是求偏导得到的。但是，对于很多实际问题，求解目标是明确的。
第三：函数有多个极大值和多个极小值的情况，或称为局部最小值（最大值），此时，算法的计算结果与初始值的选取有很大的关系，初始值离哪个局部最优值近，得到的结果就是这个局部最优值。为了尽可能地找到全局最优值，
可以随机选多组初始值进行迭代，然后再从中选取最优解。