凸优化——对偶问题解题步骤

对偶问题解题步骤

 

1. 根据原始问题写出拉格朗日函数

构造方式为,将原始问题优化的函数,减去所有比例因子乘以大于等于0的式子,得到原始问题的拉格朗日函数

(减去而不是加上的原因是,对偶问题是不断最大化原始问题的下限,从而逼近原始问题的最小值。当原函数为凸函数时,对偶问题的解通常等于原始问题的解。)

 

2. 根据原始问题写出K.K.T条件

K.K.T条件有:

s.t.中

所有等于0的函数

所有大于等于0的函数

所有比例因子(均大于等于0)

所有比例因子乘以对应的大于等于0的函数均等于0

对拉格朗日函数所有变量求偏导数等于0

 

主要包括:

(1)原始问题给定条件

(2)拉格朗日函数对变量分别求偏导数等于0

(3)拉格朗日函数中,比例因子乘以小于等于0的式子均为0

 

3.求解K.K.T条件的偏导数等于0,并将其带入原始问题,得到对偶问题

你可能感兴趣的:(Machine,Learning,对偶问题,凸优化)