最优化理论(二)

配合视频 中科大-凸优化
配合笔记 凸优化笔记

文章目录

  • 二、凸优化问题
    • 1.凸优化问题概述
    • 2.凸优化约束条件
    • 3.具体优化问题
    • 4.拉格朗日对偶
    • 5.KKT条件

二、凸优化问题

1.凸优化问题概述

  • 判断一个优化问题是否是凸优化
  • 纠正拟凸证明,凸优化问题
  • 可行性优化问题,等价问题
  • 凸优化问题,凸优化问题的性质
  • x ∗ ∈ X f x^*\in X_f xXf最优    ⟺    \iff ▽ f 0 T ( x ∗ ) ( y − x ∗ ) ≥ 0 ▽f_0^{T}(x^*)(y-x^*)\ge0 f0T(x)(yx)0 ⇒ \Rightarrow 理解:根据凸函数一阶条件 f 0 ( y ) ≥ f 0 ( x ∗ ) + ▽ f 0 T ( x ∗ ) ( y − x ∗ ) f_0(y)\ge f_0(x^*)+▽f_0^{T}(x^*)(y-x^*) f0(y)f0(x)+f0T(x)(yx),而 f 0 ( x ∗ ) f_0(x^*) f0(x)已经最小了, f 0 ( y ) f_0(y) f0(y)必然是要 ≥ f ( x ∗ ) \ge f(x^*) f(x)的,因此必须加一个 ≥ 0 \ge0 0的数才能找到这样的 y y y

2.凸优化约束条件

  • 约束仅为等式约束或非负约束,线性规划一般形式
  • 当约束为非负约束时,证明最优解处的梯度必须为零,理解关键:因为 x x x是最优解,即给定了,此时 ▽ f 0 T ( x ) ( y − x ) ▽f_0^{T}(x)(y-x) f0T(x)(yx)是一个关于 y y y的函数, f ( y ) = ▽ f 0 T ( x ) y − ▽ f 0 T ( x ) x f(y)=▽f_0^{T}(x)y-▽f_0^{T}(x)x f(y)=f0T(x)yf0T(x)x,它相当于是很多个一次函数,每个一次函数的系数是 ▽ f 0 ( x ) ▽f_0(x) f0(x)的一个分量,而这些所有的一次函数在 y ≥ 0 y\ge0 y0的时候都必须非负,因此每个系数都不能是负的,即 ▽ f 0 T ( x ) ≥ 0 ▽f_0^{T}(x)\ge0 f0T(x)0

3.具体优化问题

  • 线性规划的变化形式,线性分数规划
  • 二次规划及二次约束二次规划,技巧:正负部拆分
  • 半正定规划
  • 多目标优化

4.拉格朗日对偶

  • 拉格朗日函数,对偶函数
  • 函数共轭与对偶函数,对偶问题最优解
  • 对偶问题和原问题
  • p ∗ / d ∗ p^*/d^* p/d的几种解释
  • 几何解释中 z = λ u + t z=\lambda u+t z=λu+t是一条直线: t = − λ u + z t=-\lambda u+z t=λu+z,斜率是小于零的,要求 z z z的最小值(而且要保证 ( u , t ) (u,t) (u,t) G G G内),给定 λ \lambda λ后(接下来的操作相当于代数运算中遍历可行域在求 x x x), z z z的最小值是与移动时刚好与可行碰到的情况(因为此时能够保证给定对 λ \lambda λ z m i n = g ( λ ) z_{min}=g(\lambda) zmin=g(λ)),即此时 g ( λ ) g(\lambda) g(λ)确定为只与 λ \lambda λ有关的函数( x x x求完代入了表达式),然后保证“刚碰到而不超过”的条件(保证 g ( λ ) g(\lambda) g(λ)是当前求得的这样的表达式),改变斜率要使得 g ( λ ) g(\lambda) g(λ)最大,求得的结果就是 d ∗ d^* d,关键是理解最高下确界先确定移动棍子确定下确界(确定 x x x),再改变斜率确定最高(确定 λ \lambda λ
  • p ∗ / d ∗ p^*/d^* p/d的经济学和鞍点方面补充解释/鞍点的定义和鞍点定理

5.KKT条件

  • 互补松弛条件, K K T KKT KKT条件,优化问题与 K K T KKT KKT条件的充要关系和成立条件
  • 一些问题的 K K T KKT KKT条件
  • 凸问题等价转化后的对偶问题
  • 敏感性分析:扰动问题后的解的性质,关于第一个证明的理解,可以见保留凸性的一种方式:在一个凸集上最小化一个联合凸函数形成的单变量函数仍是凸函数

你可能感兴趣的:(最优化理论,数学)