凸优化,对偶问题与拉格朗日函数

优化问题的基本形式

凸优化,对偶问题与拉格朗日函数_第1张图片

 

 

 

 

 

 

最大值问题可转化为最小值问题 

 

优化问题的域

     凸优化,对偶问题与拉格朗日函数_第2张图片

可行域:所有可行点的集合

最优化值:

最优化解:

 

凸优化问题的基本形式

凸优化,对偶问题与拉格朗日函数_第3张图片

其中,约束函数f(x)是凸函数,h(x)为仿射函数

 仿射函数:即最高次数为1的多项式函数。常数项为零的仿射函数称为线性函数。

 凸优化问题的重要性质:

  1.凸优化问题的可行域为凸集

  2.凸优化问题的局部最优解即为全局最优解

 

对偶问题

 一般优化问题的拉格朗日乘子法

    凸优化,对偶问题与拉格朗日函数_第4张图片

拉格朗日函数

    

对固定的x,拉格朗日函数是关于的仿射函数,当x为定值时,f(x)为定值,h(x)为定值,函数关于 线性,关于线性,即为若干条直线。

拉格朗日对偶函数

    

若问题没有明确的下确界,则g(lamta,V) 为负无穷

     凸优化,对偶问题与拉格朗日函数_第5张图片

根据定义,显然有:对于任意的lamda,任意的x,若优化问题有最优值p,则g(lamta,V) <=p

进一步,拉格朗日对偶函数为凹函数

 

分析

凸优化,对偶问题与拉格朗日函数_第6张图片

公式纯手打QAQ!

对偶

凸优化,对偶问题与拉格朗日函数_第7张图片

 

 凸优化,对偶问题与拉格朗日函数_第8张图片

 

强对偶条件

若要对偶函数的最大值等于原问题的最小值,则需满足:

凸优化,对偶问题与拉格朗日函数_第9张图片

KKT条件

凸优化,对偶问题与拉格朗日函数_第10张图片

 

 实践案例

可以参见SVM的求解过程!

 

你可能感兴趣的:(凸优化,对偶问题与拉格朗日函数)