理解 Conjugate Function

共轭函数是最优化问题中非常重要的概念，常用来在原问题和对偶问题之间进行转换。

定义

对于原函数，其共轭函数为
其中，表示两个变量的内积。

注意，这个的共轭函数的定义域要求对有上界。即，共轭函数的值不能无穷大。

几何意义

对于共轭函数的每一个自变量，其取值相当于一条直线与原函数之差的最大值：这条直线，其斜率由决定。

两条曲线之差随着变化，其最大值可以对求导得到： 即：曲线斜率与直线斜率相同处的，能够得到最大值。
带入满足条件的x，即可得到共轭函数。

例子

原函数（Negative entropy）：原函数为增函数。
对于，为减函数。则为减函数，不超过其在零点取值。
对于，也是增函数 增速小于增速，故其差有上界。
故，的定义域为。

找到最大值处的表达式：代入共轭函数：

参考：

• https://blog.csdn.net/shenxiaolu1984/article/details/78194053?locationNum=3&fps=1
• https://blog.csdn.net/Liang_Ling/article/details/53215123
• 简易解说拉格朗日对偶（Lagrange duality）