凸函数2(斯坦福凸优化笔记6)

1 Jensen 不等式

基本不等式 f(θx+(1θ)y)θf(x)+(1θ)f(y)
扩展到多项也成立。
f(θ1x1++θkxk)θ1f(x1)++θkf(xk) , θ1++θk=1
一般形式:
事件 xdomf 发生的概率为1,函数 f 是凸函数,当相应的期望存在时,有 f(Ex)Ef(x)

2 保凸运算

注意,这里的保凸运算指凸函数的保凸运算,并不指凸集的保凸运算,要和上一章分开。
(1)非负加权求和
wi0,fi 是凸函数时, f=w1f1++wmfm 是凸函数。
fi 严格凸时, f 严格凸。
此性质可以扩展到积分。
如果固定 yA ,函数 f(x,y) 是关于 x 的凸函数。且对任意 yA w(y)0 ,则函数 g(x)=Aw(y)f(x,y) dy 是关于 x 的凸函数。

(2)复合仿射映射

假设函数 f:RnR,ARn×m ,以及 bRn ,定义 g:RmR
g(x)=f(Ax+b)
其中 domg={xAx+bdomf}
这样的话, f g 的凹凸性一致。

(3)函数每点取最大

f1,f2 都是凸函数,则
f(x)=max{f1(x),f2(x)} 是凸函数。
这个性质还可以扩展到多个函数。
f1,,fn 都是凸函数,则
f(x)=max{f1(x),,fn(x)} 是凸函数。

举例:
最大 r 个分量和是凸函数。对于任意 xRn ,用 x[i] 表示 x 中第 i 大的分量。则 f(x)=i=1rx[i] 是凸函数。
原因是 f(x) 还可以表示为:
f(x)=max{xi1++xir1i1<i2<<irn}
即从 x 的分量中选取 r 个不同分量进行求和所有组合的最大值。函数可以看成 n!/(r!(nr)!) 个线性函数取每点取最大,所以是凸函数。

逐点最大的性质可以扩展到无限个凸函数取上确界。
对于任意 yA ,函数 f(x,y) 关于 x 都是凸的,则函数 g
g(x)= supyAf(x,y) 也是凸的,此时函数的定义域为
dom g={x(x,y)dom f yA,g(x)<}

(4)标量的复合:

标量的复合在直观上结论十分好理解。
对于 f(x)=h(g(x))
f′′(x)=h′′(g(x))g(x)2+h(g(x))g′′(x)
这里,我们先假设这里写出来的导数都是存在的。
因为可以认为凸函数二阶导大于零,所以 h g 凸并且 h 非减,则 f 是凸函数。(剩下几条自己推吧,相信高中生知道导数定义都明白的)
如果函数不可导怎么办?这些直观的结论都依然成立,只是这时结论里的 h 要变成 h~
举几个例子:
如果 g 是凸函数则 exp(g(x)) 也是凸函数 。
如果 g 是凹函数且大于零则 1/g(x) 是凸函数 。

(5)矢量的复合:

对于 f(x)=h(g1(x),,gk(x))
其中, h,g 都是矢量函数(即定义域在多维上,值域是一维)
f′′(x)=g(x)T2h(g(x))g(x)+h(g(x))Tg′′(x)
此时,我们得到和上面标量复合类似的结论。同样, h 不可导时,结论中 h 要变成 h~

矢量复合要注意的是,矢量复合可以组合多种情况的结论。比如下面结论同样是对的:
h 是凸函数且在 h 的非减分量上 gi 是凸函数,在 h 的非增分量上 gi 是凹函数,那么 f 是凸函数。

h(z)=log(i=1kezi) 是凸函数且在每一维分量上非减,只要 gi 是凸函数,那么 h(gi) 就是凸函数。

(6)最小化

如果函数 f 是关于 (x,y) 函数,集合 C 是非空集,定义函数:
g(x)=infyCf(x,y)
是凸函数。

举一个例子,定义点 x 到某一集合 S 的距离定义为:
dist(x,S)=infySxy
S 是凸集,那么距离函数 dist(x,S) 是凸函数。

(7)透视函数

定义函数:
g(x,t)=tf(x/t)
定义域为:
dom g={(x,t)x/tdomf,t>0}
透视函数是保凸运算。
(一定注意要求 t>0

3 共轭函数

设函数 f:RnR ,定义函数 f:RnR
f(y)=supxdom f(yTxf(x))
此函数称为 f 的共轭函数。
凸函数2(斯坦福凸优化笔记6)_第1张图片
(图片来自斯坦福Boyd Convex Optimization)
旋转直线 xy y 是斜率,得到的直线与 f(x) 在整个定义域上的最大差值就是 f(y) 。不出意外的话(如果 f(x) 可微),在满足 f(x)=y 的点 x 处差值最大。

考虑一个简单的例子。

f(x)=log x 的共轭函数。
对于函数 xy+log x
y0 时,此函数没有上界。
y<0 时,此函数在 x=1/y 时取最大值。代入得:
f(y)=log (y)1

4 拟凸函数

如果函数定义域内的所有下水平集都是凸集,则函数为拟凸函数。这个定义在理解了下水平集之后还是很好理解的。
拟凸函数在一些性质上很像凸函数一些性质的变形。
f(θx+(1θ)y)max{f(x),f(y)}
这个性质称为拟凸函数的Jensen不等式。
拟凸函数也有相应的一阶条件。
拟凸函数的一阶条件:
f(y)f(x)f(x)T(yx)
这是对应的描述拟凸函数的不等式。

5 对数凸函数

函数为对数凹,对所有的 xdomf f(x)>0 logf 是凹函数。
我们也可以用类似定义凸函数的方法定义对数凹函数。
如果函数定义域是凸集,且在定义域上为正,
x,ydomf ,0θ1 f(θx+(1θ)y))f(x)θf(y)(1θ) ,则称 f(x) 是对数凹函数。

关于对数凸函数,有几个性质比较重要。
1对数凸函数是凸函数,非负凹函数是对数凹函数。
2 对于对数凹函数, f(x)2f(x)f(x)f(x)T
3 对数凸函数的和仍然是对数凸函数。
4 积分:积分可以理解成无数个函数的和。
所以有以下结论。
对于任意 yC f(x,y) x 的对数凸函数,则函数
g(x)=C f(x,y)dy 是对数凸函数。这个用上面的求和的性质很好理解。

对数凹函数的积分也有积分性质。
如果函数 f:Rn×RmR 是对数凸函数,则
g(x)=f(x,y)dy
则此函数在 Rn 上是 x 的对数凹函数。此条件和上面那个不一样,注意区分,此条件要求更严。

你可能感兴趣的:(凸优化)