凸优化相关概念学习笔记

前言

由于凸优化具有一些很好的性质，比如：

• 凸问题中的局部最优解就是全局最优解

• 凸优化理论中的拉格朗日对偶为凸优化算法的最优性与有效性提供了保证

并且，在机器学习中的很多模型在先辈们的研究下，正好符合凸优化模型。在大多数优化问题中，只要转化为凸问题，那么基本上是可以解决的。

凸优化问题中的基本概念与性质

凸集的概念

集合C内任意两点间的线段均在集合C内，则称集合C为凸集。

任意x1,x2∈C,θ∈[0,1],则θx1+(1−θ)x2∈C

任意x1,x2,...,xk∈C,θi∈[0,1]，且∑i=1kθixi=1,则∑i=1kθixi∈C

凸函数的概念

假设有一个函数f:Rn→R,记其定义域为D(f),如果D(f)是凸集，且在其中任意取两个点x,y,满足以下性质：

f(θx+(1−θy))≤θf(x)+(1−θ)f(y)

那么就称 f 为凸函数

保持凸性的运算

• 集合交运算——
  任意多个凸集的交集为凸集。
• 仿射变换——
  仿射变换 f(x)=Ax+b,A∈Rm×n,b∈Rm
  伸缩，平移，投影
  若 f 是仿射变换， f:Rn→Rm,f(S)={f(x)|x∈S}
  若S为凸集，则 f(S)为凸集
  若f(S)为凸集，则S为凸集

优化问题的基本形式

minxf0(x),x∈Rn

s.t.fi(x)≤0,i=1,2,...,m

hi(x)=0,i=1,2,...,p

凸优化问题的基本形式

minxf0(x),x∈Rn

s.t.fi(x)≤0,i=1,2,...,m

hix=0,i=1,2,...,p

fi(x)≤0,i=1,2,...,m 为凸函数， hi(x)=0,i=1,2,...,p 为仿射函数，其中，可行域为凸集。