共轭函数两个性质的证明

学习机器学习的时候有涉及到共轭函数（也叫对偶函数），这边文章总结一下共轭函数的学习

共轭函数的定义：对于函数   其定义如下：

表示函数的定义域，可以这样理解这个函数：首先它是关于的函数，给定一个 值时，关于的函数 在定义域上的最大值，即 对应的值

共轭函数在支持向量机的数学理论证明有涉及过，在最近火的不行的Gan生成对抗神经网络进阶版本的数学推理中也发挥着神奇的作用（听说待学习）

因为它有两个非常好的性质：

1. 无论是否是凸函数，其共轭函数都是凸函数

2. 凸函数的共轭函数的共轭函数是它自己

首先解释一下凸函数，机器学习里面的的凸函数和以前高中数学学到的凸函数有点不一样，在机器学习里面 是凸函数，是凹函数，简单来说，机器学习里面的凸函数有下面的性质（也是凸函数的定义之一）：

可以简单的从下图理解：（）

 

 

现在来证明共轭函数第一条性质，即：

1. 无论是否是凸函数，其共轭函数都是凸函数

等价要证明：

代入共轭函数的定义，上述不等式等价于：

 

上述不等式左边等价于：

假设在出取到最大值，上式等于：

而

和相加，右边把和从里面提取出来，即等于公式的右边，由此可证公式

 

证明共轭函数的第二条性质，即：

2. 凸函数的共轭函数的共轭函数是它自己

函数 的共轭函数如下：

由于是凸函数，给定,关于的函数最大值在导数等于的时候取得，（可以想象一下    ）

即：

即对于给定， 对于的  是 的最大值，所以又可以写成：

的共轭函数如下：

同理，对于给定的， 时，取最大值

结合公式(由于公式，x可以看成关于t的函数，根据复合函数求导和乘积求导法则，可以得到下面的等式)：

代入公式，上述等式等价于：

即对于给定的,  时， 取最大值，即：

代入 ：

即f(x)的共轭函数的共轭函数是它自己