凸优化第三章凸函数 3.2保凸运算

3.2保凸运算

  1. 非负加权求和
  2. 复合仿射映射
  3. 逐点最大和逐点上确界
  4. 复合
  5. 最小化函数
  6. 透视函数

非负加权求和

凸函数的非负加权求和得到的函数仍为凸函数

如果f_1(x),f_2(x)\cdots f_n(x)均为凸函数,\forall \, \alpha_i\geq 0,i=1,2\cdots nf(x)=\alpha_1 f_1(x)+\alpha_2 f_2(x)+\cdots +\alpha_n f_n(x)仍为凸函数。

证明:

\forall x_1,x_2\in dom(f),\forall \theta \in [0,1]h(x)=x

f(\theta x_1+(1-\theta)x_2)=\sum _{i=1}^n \alpha_i f_i(\theta x_1+(1-\theta)x_2)

因为f_1(x),f_2(x)\cdots f_n(x)是凸函数,故

\sum _{i=1}^n \alpha_i f_i(\theta x_1+(1-\theta)x_2)\leq \sum _{i=1}^n\alpha_i (\theta f_i(x_i)+(1-\theta)f_i(x_2))

\sum _{i=1}^n\alpha_i (\theta f_i(x_i)+(1-\theta)f_i(x_2))=\sum _{i=1}^n \theta \alpha_i f_i(x_1)+(1-\theta)\alpha_i f_i(x_2)

=\theta \sum _{i=1}^n \alpha_i f_i(x_1)+(1-\theta)\sum _{i=1}^n\alpha_i f_i(x_2)=\theta f(x_1)+(1-\theta) f(x_2)

\Rightarrow f(\theta x_1+(1-\theta)x_2)\leq \theta f(x_1)+(1-\theta) f(x_2)

得证

例子:

f(x)=-\sum _{i=1}^n log(b_i-a_i^Tx)\, \, dom(f)=\left \{ x|a_i^Tx< b_i,i=1,2\cdots m \right \}

复合仿射映射

f(Ax+b),如果f是凸函数,f(Ax+b)也是凸函数,如果f是凹函数,f(Ax+b)也是凹函数。

逐点最大和逐点上确界

逐点最大

如果f_1(x),f_2(x)\cdots f_n(x)均为凸函数,f(x)=\max\left \{ f_1(x), f_2(x),\cdots ,f_n(x) \right \}仍为凸函数。

证明:

\forall x_1,x_2\in dom(f),\forall \theta \in [0,1]

f(\theta x_1+(1-\theta) x_2)=max(f_1(\theta x_1+(1-\theta)x_2),\cdots ,f_n(\theta x_1+(1-\theta)x_2))

因为f_1(x),f_2(x)\cdots f_n(x)是凸函数,故

max(f_1(\theta x_1+(1-\theta)x_2),\cdots ,f_n(\theta x_1+(1-\theta)x_2))\leq max (\theta f_1(x_1)+(1-\theta)f_1(x_2)),\cdots ,\theta f_n(x_1)+(1-\theta)f_n(x_2))

\leq \theta max(f_1(x_1),\cdots ,f_n(x_1))+(1-\theta)max(f_1(x_2),\cdots ,f_n(x_2))= \theta f(x_1)+(1-\theta)f(x_2)

得证。

例子

最大r个分量之和:\forall x\in R^n,x_{[i]}表示x中第i大的分类,函数f(x)的结果是x的最大r个分量之和。

f(x)=\sum _{i=1}^rx_{[i]}

f(x)是凸函数。

可以这样理解f(x)

f(x)=max(x_{i_1}+x_{i_2}+\cdots +x_{i_r}),1\leq i_1\leq i_2\leq \cdots i_r\leq n

i_1,i_2\cdots i_r表示x的任意r个不同分量,f(x)即表示从x中任意五r个不同的分量求和的所有可能组合的最大值,也是一种逐点最大。所有也是凸函数。

逐点上确界

逐点最大的性质扩展到无限个凸函数的逐点上确界。

如果对于任意的y\in A,f(x,y)关于x都是凸的,则函数g

g(x)=\underset{y\in A}{sup}f(x,y),dom(g)=\left \{ x|(x,y)\in dom(f),\forall y\in A, \underset{y\in A}{sup}f(x,y)< \infty \right \}关于x也是凸的。

关于g(x)我的理解就是在每一个x上取可以使f(x,y)最大的y,得到的f(x,y),组成一个函数g。

上确界函数的上境图是这些函数的上境图的交集。

epi(g)=\underset{y\in A}{\bigcap }epi(f(\cdot ,y))

复合

标量复合

g:R^n\rightarrow R,h:R\rightarrow R,f(x)=h(g(x))

当g和h都二次可微,且dom(h)=R,dom(g)=R^n的时候,f(x)的二阶导数为:

f^{''}(x)=h^{''}(x)g^{'}(x)^2+h^{'}(x)g^{''}(x)

可知

  1. 如果h是凸函数且非减,g是凸函数,则f是凸函数。
  2. 如果h是凸函数且非增,g是凹函数,则f是凸函数。
  3. 如果h是凹函数且非减,g是凹函数,则f是凹函数。
  4. 如果h是凹函数且非增,g是凸函数,则f是凹函数。

在不假设g和h均二次可微,定义域也不满足dom(h)=R,dom(g)=R^n时,可以先对h进行扩展值延伸,如果h是凸函数,则对不在dom(h)的点赋值为正无穷大,如果是h是凹函数,则对不在dom(h)的点赋值为负无穷,扩展值延伸后的函数记为\tilde{h}。于是上述结论改为:

  1. 如果h是凸函数且\tilde{h}非减,g是凸函数,则f是凸函数。
  2. 如果h是凸函数且\tilde{h}非增,g是凹函数,则f是凸函数。
  3. 如果h是凹函数且\tilde{h}非减,g是凹函数,则f是凹函数。
  4. 如果h是凹函数且\tilde{h}非增,g是凸函数,则f是凹函数。

矢量复合

g:R^n\rightarrow R^k,h:R^k\rightarrow R,f(x)=h(g(x))=h(g_1(x),g_2(x),\cdots ,g_k(x))

类比标量复合,当g和h均二次可微,且dom(h)=R,dom(g)=R^k时,f(x)的二阶导:

f^{''}(x)=g^{'}(x)\bigtriangledown ^2 h(g(x))g^{'}(x)+\bigtriangledown h(g(x))^T g^{''}(x)

可知:

  1. 如果h是凸函数且在每一维上h非减,g_i是凸函数,则f是凸函数。
  2. 如果h是凸函数且在每一维上h非增,g_i是凹函数,则f是凸函数。
  3. 如果h是凹函数且在每一维上h非减,g_i是凹函数,则f是凹函数。
  4. 如果h是凹函数且在每一维上h非增,g_i是凸函数,则f是凹函数。

同样在不假设h和g的二次可微性和定义域时,对h进行扩展值延伸,然后进行如下判断:

  1. 如果h是凸函数且在每一维上\tilde{h}非减,g_i是凸函数,则f是凸函数。
  2. 如果h是凸函数且在每一维上\tilde{h}非增,g_i是凹函数,则f是凸函数。
  3. 如果h是凹函数且在每一维上\tilde{h}非减,g_i是凹函数,则f是凹函数。
  4. 如果h是凹函数且在每一维上\tilde{h}非增,g_i是凸函数,则f是凹函数。

书上写着不仅需要h满足增减性要求,\tilde{h}也要满足,这里只写了\tilde{h}满足是因为\tilde{h}满足增减性意味着h也同样满足。

最小化

如果f(x,y)是凸函数,且C是凸集,则

g(x)=\underset{y\in C}{inf}\, f(x,y)

也是凸函数。inf表示下确界,利用上境图来解释:

epi(g)=\left \{ (x,t)|\exists y\in C,(x,y,t)\in epi(f) \right \}

其实就是将f的上境图投影到x,t上得到g的上境图。而凸集在其某些分量上的投影仍为凸集,故epi(g)是凸集,故g是凸函数。

对g(x)的理解就是在f(x,y)函数上,找到可以是函数f(x,y)最小的y,然后将y带入f(x,y)得到了f关于x的函数。

例子:

f(x,y)=x^T Ax+2 x^T By+y^TCy= (x^T,y^T)\begin{bmatrix} A & B\\ B^T& C \end{bmatrix}\begin{pmatrix} x\\ y \end{pmatrix}

其中A和C为对称矩阵。

\frac{\partial f(x,y)}{\partial y}=2y^TC+2x^T B

令其为0,得到

y=-(x^TBC^{+})^T

C^+为C的伪逆。带入f(x,y)得到:

f(x,y)=x^TAx+2x^TB(-(x^TBC^+)^T)+(-(x^TBC^+)^T)^TC(-(x^TBC^+)^T)

=x^TAx-2x^TB(C^+)^TB^Tx+((C^+)^TB^Tx)^TC(C^+)^TB^Tx

=x^TAx-2x^TB(C^+)^TB^Tx+x^TBC^+C(C^+)^TB^Tx

=x^TAx-2x^TB(C^T)^+B^Tx+x^TBC^+C(C^T)^+B^Tx

因为C是对称阵,故上式

=x^TAx-2x^TBC^+B^Tx+x^TBC^+CC^+B^Tx

根据伪逆性质:

C^+CC^+=C+

于是f(x,y)等于

=x^TAx-2x^TBC^+B^Tx+x^TBC^+B^Tx=x^TAx-x^TBC^+B^Tx=x^T(A-BC^+B^T)x

g(x)也可以表示成:g(x)=x^T(A-BC^+B^T)x

透视函数

给定函数f:R^n\rightarrow R,则f的透视函数g:R^{n+1}\rightarrow R定义为:

g(x,t)=tf(x/t),dom(g)=\left \{ (x,t)|x/t\in dom(f),t> 0 \right \}

透视运算是保凸运算,如果函数f是凸函数,则g也是凸函数,如果f是凹函数,则g也是凹函数。

例子:

f(x)=x^Tx是凸函数,则g(x,t)=t((x/t)^T(x/t))=x^Tx/t​​​​​也是凸函数,当t大于0时。

f(x)=-log(x)是凸函数,则g(x,t)=t(-log(x/t))=t(log(t/x))=tlog(t)-tlog(x)也是凸函数,当t大于0时。

如果f是凸函数,则g(x)=(c^Tx+d)f((Ax+b)/(c^Tx+d)),\left \{ x|c^Tx+d>0,(Ax+b)/(c^Tx+d)\in dom(f) \right \}也是凸函数。

 

 

 

 

 

 

 

 

 

 

你可能感兴趣的:(凸优化)