全部笔记的汇总贴(视频也有传送门):中科大-凸优化
凸 ⇔ d o m f \Leftrightarrow dom\;f ⇔domf为凸, f ( y ) ≥ f ( x ) + ∇ f T ( x ) ( y − x ) , ∀ x , y ∈ d o m f f(y)\ge f(x)+\nabla f^T(x)(y-x),\forall x,y\in dom\;f f(y)≥f(x)+∇fT(x)(y−x),∀x,y∈domf
拟凸 ⇔ d o m f \Leftrightarrow dom\;f ⇔domf为凸, f ( y ) ≤ f ( x ) ⇒ ∇ f T ( x ) ( y − x ) ≤ 0 , ∀ x , y ∈ d o m f f(y)\le f(x) \Rightarrow \nabla f^T(x)(y-x)\le0,\forall x,y\in dom\;f f(y)≤f(x)⇒∇fT(x)(y−x)≤0,∀x,y∈domf
x , y ∈ d o m f , 0 ≤ θ ≤ 1 max { f ( x ) , f ( y ) } ≥ f ( θ x + ( 1 − θ ) y ) 设 f ( y ) ≤ f ( x ) , 则 f ( x ) ≥ f ( θ x + ( 1 − θ ) y ) f ( θ x + ( 1 − θ ) y ) − f ( x ) ≤ 0 ⇔ f ( θ x + ( 1 − θ ) y ) − f ( θ x + ( 1 − θ ) y ) ≤ 0 ⇔ f ( θ x + ( 1 − θ ) y ) − f ( θ x + ( 1 − θ ) x ) ( 1 − θ ) ( y − x ) ( 1 − θ ) ( y − x ) ≤ 0 ( 令 θ → 1 − ) ⇔ f ′ ( x ) ( y − x ) ≤ 0 x,y\in dom\;f,0\le\theta\le1\\\max\{f(x),f(y)\}\ge f(\theta x+(1-\theta)y)\\设f(y)\le f(x),则f(x)\ge f(\theta x+(1-\theta)y)\\f(\theta x+(1-\theta)y)-f(x)\le0\\\Leftrightarrow f(\theta x+(1-\theta)y)-f(\theta x+(1-\theta)y)\le0\\\Leftrightarrow\frac{f(\theta x+(1-\theta)y)-f(\theta x+(1-\theta)x)}{(1-\theta)(y-x)}(1-\theta)(y-x)\le0\\(令\theta\rightarrow1_-)\Leftrightarrow f'(x)(y-x)\le0 x,y∈domf,0≤θ≤1max{ f(x),f(y)}≥f(θx+(1−θ)y)设f(y)≤f(x),则f(x)≥f(θx+(1−θ)y)f(θx+(1−θ)y)−f(x)≤0⇔f(θx+(1−θ)y)−f(θx+(1−θ)y)≤0⇔(1−θ)(y−x)f(θx+(1−θ)y)−f(θx+(1−θ)x)(1−θ)(y−x)≤0(令θ→1−)⇔f′(x)(y−x)≤0
∀ x , y ∈ d o m f 均 有 f ( y ) ≤ f ( x ) , 则 ∇ f T ( x ) ( y − x ) ≤ 0 max { f ( y ) , f ( x ) } − f ( θ x + ( 1 − θ ) y ) = f ( x ) − f ( θ x + ( 1 − θ ) y ) = f ( θ x + ( 1 − θ ) x ) − f ( θ x + ( 1 − θ ) y ) ( 1 − θ ) ( y − x ) ( 1 − θ ) ( y − x ) ( 令 θ → 1 − ) = f ′ ( x ) ( x − y ) ≥ 0 \forall x,y\in dom\;f均有f(y)\le f(x),则\nabla f^T(x)(y-x)\le0\\\max\{ f(y),f(x)\}-f(\theta x+(1-\theta)y)=f(x)-f(\theta x+(1-\theta)y)\\=\frac{f(\theta x+(1-\theta)x)-f(\theta x+(1-\theta)y)}{(1-\theta)(y-x)}(1-\theta)(y-x)\\(令\theta\rightarrow1_-)= f'(x)(x-y)\ge0 ∀x,y∈domf均有f(y)≤f(x),则∇fT(x)(y−x)≤0max{ f(y),f(x)}−f(θx+(1−θ)y)=f(x)−f(θx+(1−θ)y)=(1−θ)(y−x)f(θx+(1−θ)x)−f(θx+(1−θ)y)(1−θ)(y−x)(令θ→1−)=f′(x)(x−y)≥0
凸 ⇔ \Leftrightarrow ⇔若 ∇ f T ( x ) = 0 \nabla f^T(x)=0 ∇fT(x)=0,则 ∀ y , f ( y ) ≥ f ( x ) \forall y,f(y)\ge f(x) ∀y,f(y)≥f(x)(最优值点)
拟凸 ⇔ \Leftrightarrow ⇔若 ∇ f T ( x ) = 0 \nabla f^T(x)=0 ∇fT(x)=0,则 ∀ y , f ( y ) ≤ f ( x ) ⇒ θ ≤ 0 \forall y,f(y)\le f(x)\Rightarrow \theta\le0 ∀y,f(y)≤f(x)⇒θ≤0(没有意义)
凸: d o m f dom\;f domf为凸,且 ∇ f T ( x ) ⪰ 0 , ∀ x ∈ d o m f \nabla f^T(x)\succeq0,\forall x\in dom\;f ∇fT(x)⪰0,∀x∈domf
拟凸: d o m f dom\;f domf为拟凸,且 y T ∇ f ( x ) ≥ 0 ⇒ y T ∇ 2 f ( x ) y ≥ 0 y^T\nabla f(x)\ge0\Rightarrow y^T\nabla^2f(x)y\ge0 yT∇f(x)≥0⇒yT∇2f(x)y≥0(都是常量,关键点:黑塞矩阵是半正定的)
n = 1 n=1 n=1时, y f ′ ( x ) ≥ 0 ⇒ y 2 f ′ ′ ( x ) ≥ 0 yf'(x)\ge0\Rightarrow y^2f''(x)\ge0 yf′(x)≥0⇒y2f′′(x)≥0
{ y = 0 0 ≥ 0 f ′ ( x ) = 0 , y ≠ 0 ⇒ f ′ ′ ( x ) ≥ 0 \left\{ \begin{array}{l} y=0\;\;\;\;\;0\ge0\\ \\f'(x)=0,y\neq 0\Rightarrow f''(x)\ge0 \end{array} \right. ⎩⎨⎧y=00≥0f′(x)=0,y=0⇒f′′(x)≥0
l o g c o n c a v e : f : R n → R 为 l o g c o n c a v e , 若 f ( x ) > 0 , ∀ x ∈ d o m f 且 l o g f 为 凹 函 数 l o g c o n v e x : f : R n → R 为 l o g c o n v e x , 若 f ( x ) > 0 , ∀ x ∈ d o m f 且 l o g f 为 凸 函 数 log\;concave:f:\R^n\rightarrow\R为log\;concave,若f(x)>0,\forall x\in dom\;f且log\;f为凹函数\\log\;convex:f:\R^n\rightarrow\R为log\;convex,若f(x)>0,\forall x\in dom\;f且log\;f为凸函数 logconcave:f:Rn→R为logconcave,若f(x)>0,∀x∈domf且logf为凹函数logconvex:f:Rn→R为logconvex,若f(x)>0,∀x∈domf且logf为凸函数
若 f f f为 l o g c o n v e x log\;convex logconvex,则 f f f为 c o n v e x convex convex f = e log f 为 凸 , 令 h ( x ) = e x , g ( x ) = log f , 用 复 合 函 数 的 凸 性 判 断 f=e^{\log f}为凸,令h(x)=e^x,g(x)=\log f,用复合函数的凸性判断 f=elogf为凸,令h(x)=ex,g(x)=logf,用复合函数的凸性判断
若 f f f为 c o n c a v e , f > 0 concave,f>0 concave,f>0,则 log f \log f logf为 l o g c o n c a v e log\;concave logconcave f = log f 为 凹 f=\log f为凹 f=logf为凹