中科大-凸优化 笔记（lec15）-保持函数凸性的操作
全部笔记的汇总贴（视频也有传送门）：中科大-凸优化
一、函数的组合
h : R k → R g : R n → R k f : h ⋅ g R n → R f ( x ) = h ( g ( x ) ) d o m f = { x ∈ d o m g ∣ g ( x ) ∈ d o m f } h:\R^k\rightarrow\R\;\;\;\;g:\R^n\rightarrow\R^k\\f:h\cdot g\;\;\;\;\;\R^n\rightarrow\R\\f(x)=h(g(x))\;\;\;\;\;dom\;f=\{x\in dom\; g|g(x)\in dom\; f\} h:Rk→Rg:Rn→Rkf:h⋅gRn→Rf(x)=h(g(x))domf={ x∈domg∣g(x)∈domf}
二、一维
k = n = 1 , d o m g = d o m h = d o m f = R h , g 为 二 阶 可 微 k=n=1,dom\;g=dom\;h=dom\; f=\R\;\;\;h,g为二阶可微 k=n=1,domg=domh=domf=Rh,g为二阶可微
f f f为凸 ⇔ f ′ ′ ( x ) ≥ 0 \Leftrightarrow f''(x)\ge0 ⇔f′′(x)≥0
f ′ ( x ) = h ′ ( g ( x ) ) ⋅ g ′ ( x ) f'(x)=h'(g(x))\cdot g'(x) f′(x)=h′(g(x))⋅g′(x)
f ′ ′ ( x ) = h ′ ′ ( g ( x ) ) ⏟ ≥ 0 g ′ ( x ) 2 + h ′ ( g ( x ) ) ⏟ ≥ 0 ⋅ g ′ ′ ( x ) ⏟ g ′ ′ ( x ) ≥ 0 ≥ 0 f''(x)=\underset{\ge0}{\underbrace{h''(g(x))}}g'(x)^2+\underset{\ge0}{\underbrace{h'(g(x))}}\cdot \underset{g''(x)\ge0}{\underbrace{g''(x)}}\ge0 f′′(x)=≥0 h′′(g(x))g′(x)2+≥0 h′(g(x))⋅g′′(x)≥0 g′′(x)≥0
⇒ \Rightarrow ⇒
1. h 为 凸 、 不 降 、 g 为 凸 ， 则 f 为 凸 2. h 为 凸 、 不 增 、 g 为 凹 ， 则 f 为 凸 3. h 为 凹 、 不 降 、 g 为 凹 ， 则 f 为 凹 1. h 为 凹 、 不 增 、 g 为 凸 ， 则 f 为 凹 1. h为凸、不降、g为凸，则f为凸\\2. h为凸、不增、g为凹，则f为凸\\3. h为凹、不降、g为凹，则f为凹\\1. h为凹、不增、g为凸，则f为凹 1.h为凸、不降、g为凸，则f为凸2.h为凸、不增、g为凹，则f为凸3.h为凹、不降、g为凹，则f为凹1.h为凹、不增、g为凸，则f为凹
三、高维
n , k ≥ 1 d o m g , d o m h , d o m f ≠ R n , R k , R n ⏟ 扩 展 , h , g 均 不 二 阶 可 微 n,k\ge1\;\underset{扩展}{\underbrace{dom\;g,dom\;h,dom\;f\neq\R^n,\R^k,\R^n}},h,g均不二阶可微 n,k≥1扩展 domg,domh,domf=Rn,Rk,Rn,h,g均不二阶可微
h ( x ) = − log x d o m h = R + + h ~ ( x ) = { − log x x > 0 + ∞ x ≤ 0 h(x)=-\log x\;\;\;dom\;h=\R_{++}\\\tilde{h}(x)=\left\{ \begin{array}{l} -\log x\;\;x>0\\ \\+\infty\;\;\;x\le0 \end{array} \right. h(x)=−logxdomh=R++h~(x)=⎩⎨⎧−logxx>0+∞x≤0
⇒ \Rightarrow ⇒
1. h 为 凸 ， h ~ 不 降 ， g 为 凸 ， 则 f 为 凸 2. h 为 凸 ， h ~ 不 增 ， g 为 凹 ， 则 f 为 凸 3. h 为 凹 ， h ~ 不 降 ， g 为 凹 ， 则 f 为 凹 4. h 为 凹 ， h ~ 不 增 ， g 为 凸 ， 则 f 为 凹 1.h为凸，\tilde h不降，g为凸，则f为凸\\2.h为凸，\tilde h不增，g为凹，则f为凸\\3.h为凹，\tilde h不降，g为凹，则f为凹\\4.h为凹，\tilde h不增，g为凸，则f为凹 1.h为凸，h~不降，g为凸，则f为凸2.h为凸，h~不增，g为凹，则f为凸3.h为凹，h~不降，g为凹，则f为凹4.h为凹，h~不增，g为凸，则f为凹
证明 ： ∀ x , y ∈ d o m f 0 ≤ θ ≤ 1 \forall x,y\in dom\;f\;\;\;0\le\theta\le1 ∀x,y∈domf0≤θ≤1
g g g为凸，故 d o m g dom\;g domg为凸， θ x + ( 1 − θ ) y ∈ d o m g \theta x+(1-\theta)y\in dom\;g θx+(1−θ)y∈domg
g ( θ x + ( 1 − θ ) y ) ≤ θ g ( x ) + ( 1 − θ ) g ( y ) g(\theta x+(1-\theta)y)\le \theta g(x)+(1-\theta)g(y) g(θx+(1−θ)y)≤θg(x)+(1−θ)g(y)
h h h为凸，故 d o m h dom\;h domh为凸， θ g ( x ) + ( 1 − θ ) g ( y ) ∈ d o m h \theta g(x)+(1-\theta)g(y)\in dom\;h θg(x)+(1−θ)g(y)∈domh
h ( θ g ( x ) + ( 1 − θ ) g ( y ) ) ≤ θ h ( g ( x ) ) ⏟ f ( x ) + ( 1 − θ ) h ( g ( x ) ) ⏟ f ( y ) f ( θ x + ( 1 − θ ) y ) = h ( g ( θ x + ( 1 − θ ) y ) ⏟ 不 一 定 在 d o m f 中 ) h(\theta g(x)+(1-\theta)g(y))\le \theta \underset{f(x)}{\underbrace{h(g(x))}}+(1-\theta)\underset{f(y)}{\underbrace{h(g(x))}}\\f(\theta x+(1-\theta)y)=h(\underset{不一定在dom\;f中}{\underbrace{g(\theta x +(1-\theta)y)}}) h(θg(x)+(1−θ)g(y))≤θf(x) h(g(x))+(1−θ)f(y) h(g(x))f(θx+(1−θ)y)=h(不一定在domf中 g(θx+(1−θ)y))
证明： g ( θ x + ( 1 − θ ) y ) ∈ d o m h g(\theta x+(1-\theta)y)\in dom\;h g(θx+(1−θ)y)∈domh
反证： g ( θ x + ( 1 − θ ) y ) ∉ d o m h g(\theta x+(1-\theta)y)\notin dom\;h g(θx+(1−θ)y)∈/domh
h ~ 不 降 ， h ~ ( g ( θ x + ( 1 − θ ) y ) ) ⏟ + ∞ ≤ h ~ ( θ g ( x ) + ( 1 − θ ) g ( y ) ) ， 则 h ~ = + ∞ ⇒ f ( θ x + ( 1 − θ ) y ) ≤ h ( θ g ( x ) + ( 1 − θ ) g ( y ) ) ≤ θ f ( y ) + ( 1 − θ ) f ( y ) \tilde h不降，\tilde h\underset{+\infty}{\underbrace{(g(\theta x+(1-\theta)y))}}\le\tilde h(\theta g(x)+(1-\theta)g(y))，则\tilde h=+\infty\\\Rightarrow f(\theta x+(1-\theta)y)\le h(\theta g(x)+(1-\theta)g(y))\le\theta f(y)+(1-\theta)f(y) h~不降，h~+∞ (g(θx+(1−θ)y))≤h~(θg(x)+(1−θ)g(y))，则h~=+∞⇒f(θx+(1−θ)y)≤h(θg(x)+(1−θ)g(y))≤θf(y)+(1−θ)f(y)
例
若 g g g为凸， exp { g ( x ) } \exp\{g(x)\} exp{ g(x)}为凸
h ( x ) = exp ( z ) h(x)=\exp(z) h(x)=exp(z)，凸，单增
若 g g g为凹， g > 0 , log { g ( x ) } g>0,\log\{g(x)\} g>0,log{ g(x)}为凹
h ( z ) = log ( z ) , h ~ ( z ) = { log ( z ) z > 0 − ∞ z ≤ 0 h(z)=\log (z),\tilde h(z)=\left\{ \begin{array}{l} \log(z)\;\;\;z>0\\ \\-\infty\;\;\;z\le0 \end{array} \right. h(z)=log(z),h~(z)=⎩⎨⎧log(z)z>0−∞z≤0
若 g g g为凹， g > 0 , 1 g ( x ) g>0,\frac1{g(x)} g>0,g(x)1为凸
h ( z ) = 1 z h ~ ( z ) = { 1 z z > 0 + ∞ z ≤ 0 h(z)=\frac1z\;\;\;\;\tilde h(z)=\left\{ \begin{array}{l} \frac1z\;\;z>0\\ \\+\infty\;\;\;z\le0 \end{array} \right. h(z)=z1h~(z)=⎩⎨⎧z1z>0+∞z≤0
若 g g g为凸， g ≥ 0 , P ≥ 0 , g P ( x ) 为 凸 g\ge0,P\ge0,g^P(x)为凸 g≥0,P≥0,gP(x)为凸
h ( z ) = z P h(z)=z^P h(z)=zP
(有问题)
下一章传送门：中科大-凸优化 笔记（lec16）-函数的透视&共轭