中科大-凸优化 笔记(lec15)-保持函数凸性的操作

全部笔记的汇总贴(视频也有传送门):中科大-凸优化

一、函数的组合

h : R k → R          g : R n → R k f : h ⋅ g            R n → R f ( x ) = h ( g ( x ) )            d o m    f = { x ∈ d o m    g ∣ g ( x ) ∈ d o m    f } h:\R^k\rightarrow\R\;\;\;\;g:\R^n\rightarrow\R^k\\f:h\cdot g\;\;\;\;\;\R^n\rightarrow\R\\f(x)=h(g(x))\;\;\;\;\;dom\;f=\{x\in dom\; g|g(x)\in dom\; f\} h:RkRg:RnRkf:hgRnRf(x)=h(g(x))domf={ xdomgg(x)domf}

二、一维

k = n = 1 , d o m    g = d o m    h = d o m    f = R        h , g 为 二 阶 可 微 k=n=1,dom\;g=dom\;h=dom\; f=\R\;\;\;h,g为二阶可微 k=n=1,domg=domh=domf=Rh,g
f f f为凸 ⇔ f ′ ′ ( x ) ≥ 0 \Leftrightarrow f''(x)\ge0 f(x)0
f ′ ( x ) = h ′ ( g ( x ) ) ⋅ g ′ ( x ) f'(x)=h'(g(x))\cdot g'(x) f(x)=h(g(x))g(x)
f ′ ′ ( x ) = h ′ ′ ( g ( x ) ) ⏟ ≥ 0 g ′ ( x ) 2 + h ′ ( g ( x ) ) ⏟ ≥ 0 ⋅ g ′ ′ ( x ) ⏟ g ′ ′ ( x ) ≥ 0 ≥ 0 f''(x)=\underset{\ge0}{\underbrace{h''(g(x))}}g'(x)^2+\underset{\ge0}{\underbrace{h'(g(x))}}\cdot \underset{g''(x)\ge0}{\underbrace{g''(x)}}\ge0 f(x)=0 h(g(x))g(x)2+0 h(g(x))g(x)0 g(x)0
⇒ \Rightarrow
1. h 为 凸 、 不 降 、 g 为 凸 , 则 f 为 凸 2. h 为 凸 、 不 增 、 g 为 凹 , 则 f 为 凸 3. h 为 凹 、 不 降 、 g 为 凹 , 则 f 为 凹 1. h 为 凹 、 不 增 、 g 为 凸 , 则 f 为 凹 1. h为凸、不降、g为凸,则f为凸\\2. h为凸、不增、g为凹,则f为凸\\3. h为凹、不降、g为凹,则f为凹\\1. h为凹、不增、g为凸,则f为凹 1.hgf2.hgf3.hgf1.hgf

三、高维

n , k ≥ 1    d o m    g , d o m    h , d o m    f ≠ R n , R k , R n ⏟ 扩 展 , h , g 均 不 二 阶 可 微 n,k\ge1\;\underset{扩展}{\underbrace{dom\;g,dom\;h,dom\;f\neq\R^n,\R^k,\R^n}},h,g均不二阶可微 n,k1 domg,domh,domf=Rn,Rk,Rn,h,g
h ( x ) = − log ⁡ x        d o m    h = R + + h ~ ( x ) = { − log ⁡ x      x > 0 + ∞        x ≤ 0 h(x)=-\log x\;\;\;dom\;h=\R_{++}\\\tilde{h}(x)=\left\{ \begin{array}{l} -\log x\;\;x>0\\ \\+\infty\;\;\;x\le0 \end{array} \right. h(x)=logxdomh=R++h~(x)=logxx>0+x0
⇒ \Rightarrow
1. h 为 凸 , h ~ 不 降 , g 为 凸 , 则 f 为 凸 2. h 为 凸 , h ~ 不 增 , g 为 凹 , 则 f 为 凸 3. h 为 凹 , h ~ 不 降 , g 为 凹 , 则 f 为 凹 4. h 为 凹 , h ~ 不 增 , g 为 凸 , 则 f 为 凹 1.h为凸,\tilde h不降,g为凸,则f为凸\\2.h为凸,\tilde h不增,g为凹,则f为凸\\3.h为凹,\tilde h不降,g为凹,则f为凹\\4.h为凹,\tilde h不增,g为凸,则f为凹 1.hh~gf2.hh~gf3.hh~gf4.hh~gf

证明 : ∀ x , y ∈ d o m    f        0 ≤ θ ≤ 1 \forall x,y\in dom\;f\;\;\;0\le\theta\le1 x,ydomf0θ1
g g g为凸,故 d o m    g dom\;g domg为凸, θ x + ( 1 − θ ) y ∈ d o m    g \theta x+(1-\theta)y\in dom\;g θx+(1θ)ydomg
g ( θ x + ( 1 − θ ) y ) ≤ θ g ( x ) + ( 1 − θ ) g ( y ) g(\theta x+(1-\theta)y)\le \theta g(x)+(1-\theta)g(y) g(θx+(1θ)y)θg(x)+(1θ)g(y)
h h h为凸,故 d o m    h dom\;h domh为凸, θ g ( x ) + ( 1 − θ ) g ( y ) ∈ d o m    h \theta g(x)+(1-\theta)g(y)\in dom\;h θg(x)+(1θ)g(y)domh
h ( θ g ( x ) + ( 1 − θ ) g ( y ) ) ≤ θ h ( g ( x ) ) ⏟ f ( x ) + ( 1 − θ ) h ( g ( x ) ) ⏟ f ( y ) f ( θ x + ( 1 − θ ) y ) = h ( g ( θ x + ( 1 − θ ) y ) ⏟ 不 一 定 在 d o m    f 中 ) h(\theta g(x)+(1-\theta)g(y))\le \theta \underset{f(x)}{\underbrace{h(g(x))}}+(1-\theta)\underset{f(y)}{\underbrace{h(g(x))}}\\f(\theta x+(1-\theta)y)=h(\underset{不一定在dom\;f中}{\underbrace{g(\theta x +(1-\theta)y)}}) h(θg(x)+(1θ)g(y))θf(x) h(g(x))+(1θ)f(y) h(g(x))f(θx+(1θ)y)=h(domf g(θx+(1θ)y))
证明: g ( θ x + ( 1 − θ ) y ) ∈ d o m    h g(\theta x+(1-\theta)y)\in dom\;h g(θx+(1θ)y)domh
反证: g ( θ x + ( 1 − θ ) y ) ∉ d o m    h g(\theta x+(1-\theta)y)\notin dom\;h g(θx+(1θ)y)/domh
h ~ 不 降 , h ~ ( g ( θ x + ( 1 − θ ) y ) ) ⏟ + ∞ ≤ h ~ ( θ g ( x ) + ( 1 − θ ) g ( y ) ) , 则 h ~ = + ∞ ⇒ f ( θ x + ( 1 − θ ) y ) ≤ h ( θ g ( x ) + ( 1 − θ ) g ( y ) ) ≤ θ f ( y ) + ( 1 − θ ) f ( y ) \tilde h不降,\tilde h\underset{+\infty}{\underbrace{(g(\theta x+(1-\theta)y))}}\le\tilde h(\theta g(x)+(1-\theta)g(y)),则\tilde h=+\infty\\\Rightarrow f(\theta x+(1-\theta)y)\le h(\theta g(x)+(1-\theta)g(y))\le\theta f(y)+(1-\theta)f(y) h~h~+ (g(θx+(1θ)y))h~(θg(x)+(1θ)g(y))h~=+f(θx+(1θ)y)h(θg(x)+(1θ)g(y))θf(y)+(1θ)f(y)

g g g为凸, exp ⁡ { g ( x ) } \exp\{g(x)\} exp{ g(x)}为凸
h ( x ) = exp ⁡ ( z ) h(x)=\exp(z) h(x)=exp(z),凸,单增
g g g为凹, g > 0 , log ⁡ { g ( x ) } g>0,\log\{g(x)\} g>0,log{ g(x)}为凹
h ( z ) = log ⁡ ( z ) , h ~ ( z ) = { log ⁡ ( z )        z > 0 − ∞        z ≤ 0 h(z)=\log (z),\tilde h(z)=\left\{ \begin{array}{l} \log(z)\;\;\;z>0\\ \\-\infty\;\;\;z\le0 \end{array} \right. h(z)=log(z),h~(z)=log(z)z>0z0
g g g为凹, g > 0 , 1 g ( x ) g>0,\frac1{g(x)} g>0,g(x)1为凸
h ( z ) = 1 z          h ~ ( z ) = { 1 z      z > 0 + ∞        z ≤ 0 h(z)=\frac1z\;\;\;\;\tilde h(z)=\left\{ \begin{array}{l} \frac1z\;\;z>0\\ \\+\infty\;\;\;z\le0 \end{array} \right. h(z)=z1h~(z)=z1z>0+z0
g g g为凸, g ≥ 0 , P ≥ 0 , g P ( x ) 为 凸 g\ge0,P\ge0,g^P(x)为凸 g0,P0,gP(x)
h ( z ) = z P h(z)=z^P h(z)=zP

(有问题)

下一章传送门:中科大-凸优化 笔记(lec16)-函数的透视&共轭

你可能感兴趣的:(#,中科大-最(凸)优化学习笔记)