中科大-凸优化 笔记（lec14）-保凸运算
全部笔记的汇总贴（视频也有传送门）：中科大-凸优化
一、保持函数凸性
非负加权和： f 1 , ⋯ , f n f_1,\cdots,f_n f1,⋯,fn为凸，则 f = ∑ i = 1 m w i f i f=\sum_{i=1}^mw_if_i f=∑i=1mwifi为凸，若 w i ≥ 0 , ∀ i w_i\ge0,\forall i wi≥0,∀i
1.定义域是凸集 2.不等式
若 f ( x , y ) f(x,y) f(x,y)，对任意 y ∈ A , f ( x , y ) y\in A,f(x,y) y∈A,f(x,y)均为凸 ( x , y ) j o i n t l y c o n v e x (x,y)\;\;\;\;jointly\;convex (x,y)jointlyconvex
设 w ( y ) ≥ 0 , ∀ y ∈ A , g ( x ) = ∫ y ∈ A w ( y ) f ( x , y ) d y w(y)\ge 0,\forall y\in A,g(x)=\int_{y\in A}w(y)f(x,y){d}y w(y)≥0,∀y∈A,g(x)=∫y∈Aw(y)f(x,y)dy为凸
仿射映射： f : R n → R , A ∈ R n ∗ m , b ∈ R n , g ( x ) = f ( A x + b ) d o m g = { x ∣ A x + b ∈ d o m f } f:\R^n\rightarrow\R,A\in\R^{n*m},b\in\R^n,g(x)=f(Ax+b)\;\;dom \;g=\{x|Ax+b\in dom f\} f:Rn→R,A∈Rn∗m,b∈Rn,g(x)=f(Ax+b)domg={ x∣Ax+b∈domf}
证明：令 x , y ∈ d o m g , 0 ≤ θ ≤ 1 x,y\in dom\;g,0\le\theta\le1 x,y∈domg,0≤θ≤1
g ( θ x + ( 1 − θ ) y ) = f ( θ A x + ( 1 − θ ) A y + b ) = f ( θ ( A x + b ) + ( 1 − θ ) ( A y + b ) ) ≤ θ f ( A x + b ) + ( 1 − θ ) f ( A y + b ) = θ g ( x ) + ( 1 − θ ) g ( y ) g(\theta x+(1-\theta)y)=f(\theta Ax+(1-\theta)Ay+b)\\=f(\theta(Ax+b)+(1-\theta)(Ay+b))\\\le\theta f(Ax+b)+(1-\theta)f(Ay+b)\\=\theta g(x)+(1-\theta)g(y) g(θx+(1−θ)y)=f(θAx+(1−θ)Ay+b)=f(θ(Ax+b)+(1−θ)(Ay+b))≤θf(Ax+b)+(1−θ)f(Ay+b)=θg(x)+(1−θ)g(y)
f i : R n → R , i = 1 , ⋯ , m f_i:\R^n\rightarrow\R,i=1,\cdots,m fi:Rn→R,i=1,⋯,m为凸， A ∈ R n , b ∈ R , g ( x ) = A T [ f 1 ( x ) ⋯ f m ( x ) ] T + b A\in\R^n,b\in\R,g(x)=A^T[f_1(x)\cdots f_m(x)]^T+b A∈Rn,b∈R,g(x)=AT[f1(x)⋯fm(x)]T+b
A A A如果非负，是凸函数
二、两个函数的极大值函数
f 1 , f 2 f_1,f_2 f1,f2是凸函数，定义： f ( x ) = max { f 1 ( x ) , f 2 ( x ) } , d o m f = d o m f 1 ∩ d o m f 2 f(x)=\max\{f_1(x),f_2(x)\},dom f=dom f_1\cap dom f_2 f(x)=max{ f1(x),f2(x)},domf=domf1∩domf2
x , y ∈ d o m f , 0 ≤ θ ≤ 1 x,y\in dom f,0\le\theta\le1 x,y∈domf,0≤θ≤1
f ( θ x + ( 1 − θ ) y ) = max { f 1 ( θ x + ( 1 − θ ) y ) , f 2 ( θ x + ( 1 − θ ) y ) } ≤ max { θ f 1 ( x ) + ( 1 − θ ) f 1 ( y ) , θ f 2 ( x ) + ( 1 − θ ) f ( y ) } ≤ max { θ f 1 ( x ) , θ f 2 ( x ) } + max { ( 1 − θ ) f 1 ( y ) , ( 1 − θ ) f 2 ( y ) } = θ f ( x ) + ( 1 − θ ) f ( y ) f(\theta x+(1-\theta)y)=\max\{f_1(\theta x+(1-\theta)y),f_2(\theta x+(1-\theta)y)\}\\\le\max\{\theta f_1(x)+(1-\theta) f_1(y),\theta f_2(x)+(1-\theta)f(y)\}\\\le\max\{\theta f_1(x),\theta f_2(x)\}+\max\{(1-\theta)f_1(y),(1-\theta)f_2(y)\}\\=\theta f(x)+(1-\theta)f(y) f(θx+(1−θ)y)=max{ f1(θx+(1−θ)y),f2(θx+(1−θ)y)}≤max{ θf1(x)+(1−θ)f1(y),θf2(x)+(1−θ)f(y)}≤max{ θf1(x),θf2(x)}+max{ (1−θ)f1(y),(1−θ)f2(y)}=θf(x)+(1−θ)f(y)max { a + b , c + d } ≤ max { a , c } + max { b , d } \max\{a+b,c+d\}\le\max\{a,c\}+\max\{b,d\} max{ a+b,c+d}≤max{ a,c}+max{ b,d}
例： f ( x ) = max { x 2 , x } f(x)=\max\{x^2,x\} f(x)=max{ x2,x}
例：向量中 r r r个最大元素的和
x ∈ R n x [ i ] → 第 i 大 的 元 素 x\in\R^n\;\;\;\;x[i]\rightarrow第i大的元素 x∈Rnx[i]→第i大的元素
x [ 1 ] ≥ x [ 2 ] ≥ ⋯ ≥ x [ r ] ≥ ⋯ ≥ x [ n ] x[1]\ge x[2]\ge\cdots\ge x[r]\ge\cdots\ge x[n] x[1]≥x[2]≥⋯≥x[r]≥⋯≥x[n]
f ( x ) = ∑ i = 1 r x [ i ] f ( x ) = max { x i 1 + ⋯ + x i r ∣ 1 ≤ i 1 ≤ ⋯ ≤ i r ≤ n } f(x)=\sum_{i=1}^rx[i]\\f(x)=\max\{x_{i1}+\cdots+x_{ir}|1\le i_1\le\cdots\le i_r\le n\} f(x)=i=1∑rx[i]f(x)=max{ xi1+⋯+xir∣1≤i1≤⋯≤ir≤n}
三、无限个凸函数的极大值
f ( x , y ) f(x,y) f(x,y)对于 x x x为凸， ∀ y ∈ A \forall y\in A ∀y∈A
g = sup y ∈ A f ( x , y ) g=\sup_{y\in A}f(x,y) g=y∈Asupf(x,y)
例：实对称矩阵的最大特征值
f ( x ) = λ m a x ( x ) , d o m f = S m X y = λ y ⇔ y T X y = y T λ y ⇔ y T X y = λ ∣ ∣ y ∣ ∣ 2 2 ⇔ λ = y T X y ∣ ∣ y ∣ ∣ 2 2 f(x)=\lambda_{max}(x),dom f=S^m\\Xy=\lambda y\Leftrightarrow y^TXy=y^T\lambda y\\\Leftrightarrow y^TXy=\lambda ||y||_2^2\\\Leftrightarrow \lambda=\frac{y^TXy}{||y||^2_2} f(x)=λmax(x),domf=SmXy=λy⇔yTXy=yTλy⇔yTXy=λ∣∣y∣∣22⇔λ=∣∣y∣∣22yTXy
其中 λ = y X y , ∣ ∣ y ∣ ∣ 2 = 1 \lambda=y^Xy,||y||_2=1 λ=yXy,∣∣y∣∣2=1
所以 λ m a x ( x ) = sup { y T X y ⏟ 对 X 是 凸 函 数 ∣ ∣ ∣ y ∣ ∣ 2 = 1 } \lambda_{max}(x)=\sup\{\underset{对X是凸函数}{\underbrace{y^TXy}}\Big|\;||y||_2=1\} λmax(x)=sup{ 对X是凸函数 yTXy∣∣∣∣∣y∣∣2=1}
下一章传送门：中科大-凸优化 笔记（lec15）-保持函数凸性的操作