目录
1. 共轭复数
2. 傅里叶变换的共轭对称性
3. 共轭根式(radical conjugates)
4. 共轭矩阵(自共轭矩阵、Hermitian(埃尔米特)矩阵)
5. 共轭方向
6. 共轭方向法
7. 共轭梯度法
8. 共轭分布(conjugacy)
9. 共轭函数(对偶函数、极化函数)
共轭(conjugate )的概念在数学、物理、化学、地理等学科中都有出现。 本意:两头牛背上的架子称为轭,轭使两头牛同步行走。扩展到数学等领域,共轭即为按一定的规律相配的一对或一组。
在数学中常见的共轭有:共轭复数,共轭根式,共轭矩阵,共轭转置,共轭分布,共轭先验,共轭函数, 共轭方向,共轭方向法,共轭梯度
法。
我们在关注共轭时,主要关注共轭的配对规律,共轭的性质,以及取共轭可以带来什么样的数学或应用优势。
配对规律:在复数中,实部相等,虚部互为相反数的两个复数互为共轭复数。
公式描述: 与 互为复数
共轭性质:1)加和为实数
2)在复平面上,共轭复数所对应的点关于实轴对称
说明:这里的共轭就是上面介绍的复数共轭,不是指傅里叶变换与傅里叶反变换是一对共轭。
定义:
配对规律:两个不等于零的根式A、B,若它们的积AB不含根式,则称A、B互为共轭根式。
共轭性质:通过相乘能把根式去掉。
描述:对根式的模式没有要求,只要满足配对规律的就都是共轭根式。
描述:一般共轭矩阵是一个复数矩阵,实对称阵是Hermite阵的特例。
配对规律:矩阵中第行第列的元素与第行第列的元素互为共轭复数,的矩阵称为共轭矩阵。
公式描述:对于一个复数矩阵 ,如果,则称为共轭矩阵。
若用表示矩阵的旋转取共轭操作(称为共轭转置操作),则满足的矩阵是共轭矩阵。
性质:1)主对角线上的元素全是实数。
2)若A 和B 是Hermite阵,那么它们的和A+B 也是Hermite阵
3)若A 和B 是Hermite阵,如果满足AB=BA,那么AB与BA也是Hermite阵
4)更多性质可参考《矩阵分析与应用(张贤达 第2版)》第101页。拥有很多很好的性质。
组配对规律:对于一组维的非零(列)向量和一个的对称正定矩阵 ,若 ,则称这组向量关于矩阵是互相共轭的。因为每个向量都可以表示一个方向,所以称为共轭方向。
描述:由定义可知,在高维空间中,一个方向向量的共轭方向不是唯一的,而是一组。
特例:当为单位矩阵时,,此时这组向量是正交的。由此可见,正交是共轭的一种特殊情况,共轭是正交的推广。
性质:1)互为共轭的一组向量,线性无关
2)维空间中,关于任何一个的对称正定矩阵 , 非零的共轭向量个数不超过。
描述:共轭方向法(conjugate direction method)一种沿着共轭方向寻找无约束最优化问题极小点的一类方法。
给定关于 的一组包含个共轭向量的共轭向量组 ,与一个初始搜索点,可以通过k次迭代,在与张成的k维子空间中找到的极小值。每一次迭代都沿着一个新的共轭方向更新,沿该共轭方向的更新步长是一个解析解。
以下是来自共轭方向法 的摘抄。
其中是沿 方向的更新步长。是提前已知的。具体的公式证明可参考:《最优化方法(赖炎连 贺国平 主编)》的第三章,3.3节。
描述:共轭梯度法可以看作一类特殊的共轭方向法,不同的是,共轭方向法在使用时需要预先定义好一组共轭方向向量。共轭梯度法克服这一缺点,共轭方向向量是随着迭代过程,当场生成下一次迭代的共轭方向。以下摘抄自:共轭梯度法
其中也是解析解,具体推论与证明可参考 《最优化方法(赖炎连 贺国平 主编)》的第三章,3.3节。。
配对规律:如果两个分布满足同样的分布律(形式相同,参数不同),那么这两个分布互称为共轭分布。
性质:分布的表达式相同,参数不同
描述:共轭分布概念通常出现在贝叶斯概率理论中,如果后验概率P(θ|X)和先验概率P(θ)满足同样的分布律(形式相同,参数不同)。那么,先验分布和后验分布被叫做共轭分布,同时,先验分布叫做似然函数的共轭先验(分布)。
定义:设函数 , 定义函数为:
则函数是函数的共轭函数。其中表示函数的定义域。表示函数的上确界,即最小上界。是共轭函数的变量。
使上确界有限(即 在 上有上确界)的所有的构成共轭函数的定义域。下图描述了此定义。
特点:无论原函数是否是凸函数,它的共轭函数都是凸函数。
性质:1)凸函数的共轭函数的共轭函数是原函数,。
2)更多具体性质可参考《凸优化(王书宁 译)》第85页
相关:可微函数的共轭函数称为函数的Legendre变换。为了区分一般情况和可微情况下所定义的共轭,一般函数的共轭有时称为Fenchel共轭。
参考:[1] 连续时间傅里叶变换的共轭与共轭对称性(详细推导)
[2]【机器学习之数学】02 梯度下降法、最速下降法、牛顿法、共轭方向法、拟牛顿法
[3]《凸优化(王书宁 译)》
[4]《最优化方法(赖炎连 贺国平 主编)》的第三章