共轭函数

共轭函数

共轭函数的定义：

设函数 f:Rn→R ，定义函数 f∗:Rn→R 为： 

f∗(y)=supx∈domf(yTx−f(x))

此函数称为函数 f 的共轭函数。即函数 yx 和函数 f(x) 之间差值的上确界。 
如下图，两条虚线平行，函数 f1(x)=yx 是通过原点的一条直线,y是常数。下面的虚线交点 
(0,−f∗(y)) ，即是两条平行线之间的y方向上的距离，即差值。 

对偶范数

范数的对偶还是范数。 
定义： 
令 ||⋅|| 是 Rn 上 的范数。对应的对偶范数，用 ||⋅|| 表示，定义为： 

||z||∗=sup{zTx|||x||≤1}

也可以写成： 

maxxzTxs.t.||x||≤1

因为范数具有非负性，因此我们也可以写成： 

||z||∗=sup{zTx|||x||≤1}

 
左图表示 l2 范数对偶的示意图，很容易理解，当向量 z 和 z 同方向时，两个向量的内积最大，即 
zTx=<z,x>=|z||x|⋅cosθ=|z|=||z||2

右图表示 l1 范数对偶的示意图，当向量 z 在实线位置,两个向量的内积最大时，向量 x 取 (1,0) (对于二维情况).则： 
zTx=<z,x>=|z||x|⋅cosθ=|z|⋅cosθ=z1  
当向量 z 在虚线位置时： 
zTx=<z,x>=|z||x|⋅cosθ=|z|⋅cosθ=z2  
故： 
zTx=max(z1,z2)=||z||∞

范数的共轭函数

令 ||⋅|| 表示 Rn 上的范数，其对偶范数为 ||⋅||∗ ,那么函数 f(x)=||x|| 的共轭函数为： 

f∗(y)={0∞||y||∗≤1其他情况

即范数的共轭函数是对偶范数的单位球的示性函数，即范数定义的单位球内值为0，在单位球外值为无穷大。对于损失函数来说，在单位球内损失函数为0，相当于一个ball约束，而在单位球外会导致损失函数无穷大，是不可取的。

证明：对于上左图，即对于 l2 范数的对偶，如果 ||y||∗>1 ，根据对偶范数的定义，存在 z∈Rn，||z||≤1 ，使得 yTz>1 。（这里的 y 对应上图的 z ,而 z 对应 x ，从图中可以看淡 ||z||≤1 即表示单位球形区域，要使得 ||y||∗>1 ，则一定满足 ||y||>1 ,一个大于1一个小于1，很自然存在 y,z ，满足 yTz>1 ）。取 x=tz ，并令 t→∞ ，可得： 

yTx−||x||=t(yTz−||z||)→∞

即 f∗(y)=∞ ，没有上界。反之，若 ||y||∗≤1 ,对于任意的 x ，有 yT≤||x||y||∗ ，即对任意 x ，即对任意的 x，yTx−||x||≤0 。因此， x=0 处，函数 yTx−||x|| 达到最大值0. 
可以通过下面的图进行一维情况的简单描述： 
 
当 y>1 时，即直线的斜率大于1时，则两个函数的差值为 ∞ ，两个函数都延伸到无穷远。当 y≤1 ，函数 f1(x) 在函数 f2(x) 的下面，并且相交，因此最大y方向上的距离为0. 对于 y<−1 和 y≥−1 具有类似的结论。

范数的平方的共轭函数： 
函数: 

f(x)=12||x||2

其共轭函数为： 

f∗(y)=12||y||2∗

参考文献： 
1 Convex Optimization_Stephen Boyd.pdf