关于凸优化与机器学习理解笔记

梯度下降法和牛顿法等基于导数作为判断依据的优化算法，找到的都是导数为0的点，但是梯度为0只是取得极值的必要条件而非充分条件。如果我们将这个必要条件变成充分条件，即：

                        x点的梯度等于0=》x是问题的最优解

若对于目标函数，我们限定是凸函数；对于优化变量的可行域（包括目标函数对定义域的约束），我们限定为凸集。

同时满足这两个限制条件的最优化问题成为凸优化问题，这类问题有个非常好的性质，那就是局部最优解一定是全局最优解。这个特性可以保证我们在求解时不会陷入局部最优解，即如果找到了问题的一个局部最优解，则它一定也是全局最优解，这极大的简化了问题的求解。

1.关于凸集的概念：

对于n维空间中点的集合C，如果对集合中的任意两点x和y，以及实数，都有：

                                

则称该集合称为凸集。如果把这个集合画出来，其边界是凸的，没有凹进去的地方。直观来看，把该集合中的任意两点用直线连起来，直线上的点都属于该集合。

凸函数。从图像上看，一个函数如果是凸函数，那么它是向下凸出去的。用直线连接函数上的任何两点A和B，线段AB上的点都在函数的上方，如下图所示：

凸优化问题，证明目标函数是凸函数（一般是证明它的Hessian矩阵半正定），可行域是凸集。

2.拉格朗日函数

 

定义拉格朗日函数为：

对带约束条件的优化问题，将约束转为目标函数的一部分。

，对每一个可行解x都成立

 

拉格朗日对偶函数：  为最小f(x)

 

g(u,v)即为其对偶函数，通过对偶函数求解其原函数的近似最优解。

KKT条件：

 

 

参考：

https://zhuanlan.zhihu.com/p/37108430

https://www.cnblogs.com/liaohuiqiang/p/7805954.html#!comments

https://www.cnblogs.com/liaohuiqiang/p/7818448.html