共轭复数,共轭根式,共轭矩阵,共轭方向,共轭方向法,共轭梯度法,共轭分布,共轭函数,傅里叶变换的共轭对称

目录

1. 共轭复数

2. 傅里叶变换的共轭对称性

3. 共轭根式(radical conjugates)

4. 共轭矩阵(自共轭矩阵、Hermitian(埃尔米特)矩阵)

5. 共轭方向

6. 共轭方向法

7. 共轭梯度法

8. 共轭分布(conjugacy)

9. 共轭函数(对偶函数、极化函数)


共轭(conjugate )的概念在数学、物理、化学、地理等学科中都有出现。 本意:两头牛背上的架子称为轭,轭使两头牛同步行走。扩展到数学等领域,共轭即为按一定的规律相配的一对或一组。

共轭复数,共轭根式,共轭矩阵,共轭方向,共轭方向法,共轭梯度法,共轭分布,共轭函数,傅里叶变换的共轭对称_第1张图片

在数学中常见的共轭有:共轭复数,共轭根式,共轭矩阵,共轭转置,共轭分布,共轭先验,共轭函数, 共轭方向,共轭方向法,共轭梯度

法。

我们在关注共轭时,主要关注共轭的配对规律,共轭的性质,以及取共轭可以带来什么样的数学或应用优势。


1. 共轭复数

配对规律:在复数中,实部相等,虚部互为相反数的两个复数互为共轭复数。

公式描述:z=a+ib 与 \widetilde{z}=a-ib 互为复数

共轭性质:1)加和为实数

                  2)在复平面上,共轭复数所对应的点关于实轴对称


2. 傅里叶变换的共轭对称性

说明:这里的共轭就是上面介绍的复数共轭,不是指傅里叶变换与傅里叶反变换是一对共轭。

定义:


3. 共轭根式(radical conjugates)

配对规律:两个不等于零的根式A、B,若它们的积AB不含根式,则称A、B互为共轭根式

共轭性质:通过相乘能把根式去掉。

描述:对根式的模式没有要求,只要满足配对规律的就都是共轭根式。


4. 共轭矩阵(自共轭矩阵、Hermitian(埃尔米特)矩阵)

描述:一般共轭矩阵是一个复数矩阵,实对称阵是Hermite阵的特例。

配对规律:矩阵中第i行第j列的元素与第j行第i列的元素互为共轭复数,的矩阵称为共轭矩阵。

公式描述:对于一个复数矩阵 A=(a_{ij}),如果a_{ij}=\widetilde{a_{ji}},则称A为共轭矩阵。

                  若用H表示矩阵的旋转取共轭操作(称为共轭转置操作),则满足A^{H}=A的矩阵是共轭矩阵。

性质:1)主对角线上的元素全是实数。

           2)若A 和B 是Hermite阵,那么它们的和A+B 也是Hermite阵

           3)若A 和B 是Hermite阵,如果满足AB=BA,那么AB与BA也是Hermite阵

           4)更多性质可参考《矩阵分析与应用(张贤达 第2版)》第101页。拥有很多很好的性质。


5. 共轭方向

组配对规律:对于一组n维的非零(列)向量\{v_1,v_2,v_3,...v_i,...v_j,...\}和一个n*n的对称正定矩阵 Q,若 v_{i}^{T}Qv_j=0,则称这组向量关于矩阵Q是互相共轭的。因为每个向量都可以表示一个方向,所以称为共轭方向。

描述:由定义可知,在高维空间中,一个方向向量的共轭方向不是唯一的,而是一组。

特例:Q为单位矩阵时,v_{i}^{T}v_j=0,此时这组向量是正交的。由此可见,正交是共轭的一种特殊情况,共轭是正交的推广。

性质:1)互为共轭的一组向量,线性无关

           2)n维空间中,关于任何一个n*n的对称正定矩阵 Q 非零的共轭向量个数不超过n


6. 共轭方向法

描述:共轭方向法(conjugate direction method)一种沿着共轭方向寻找无约束最优化问题极小点的一类方法。

对于一个二次型函数f(\vec{x})=\frac{1}{2}\vec{x}^TG\vec{x} + \vec{b} ^T\vec{x} + c, 其中\vec{x}\in R^n,Q是一个正定对称矩阵,

给定关于 Q 的一组包含k(k<=n)个共轭向量的共轭向量组 \{ \vec{d^1},\vec{d^2},...,\vec{d^i},...,\vec{d^k} \} ,与一个初始搜索点\vec{x}^{(1)},可以通过k次迭代,在\vec{x}^{(1)}\{ \vec{d^1},\vec{d^2},...,\vec{d^i},...,\vec{d^k} \}张成的k维子空间中找到f(\vec{x})的极小值。每一次迭代都沿着一个新的共轭方向更新,沿该共轭方向的更新步长是一个解析解。

以下是来自共轭方向法 的摘抄。

共轭复数,共轭根式,共轭矩阵,共轭方向,共轭方向法,共轭梯度法,共轭分布,共轭函数,傅里叶变换的共轭对称_第2张图片

其中\alpha_k是沿 \vec{d}^{(k)} 方向的更新步长。\vec{d}^{(k)}是提前已知的。具体的公式证明可参考:《最优化方法(赖炎连 贺国平 主编)》的第三章,3.3节。


7. 共轭梯度法

描述:共轭梯度法可以看作一类特殊的共轭方向法,不同的是,共轭方向法在使用时需要预先定义好一组共轭方向向量。共轭梯度法克服这一缺点,共轭方向向量是随着迭代过程,当场生成下一次迭代的共轭方向。以下摘抄自:共轭梯度法

共轭复数,共轭根式,共轭矩阵,共轭方向,共轭方向法,共轭梯度法,共轭分布,共轭函数,傅里叶变换的共轭对称_第3张图片

其中\beta_{k}也是解析解,具体推论与证明可参考 《最优化方法(赖炎连 贺国平 主编)》的第三章,3.3节。。


8. 共轭分布(conjugacy)

配对规律:如果两个分布满足同样的分布律(形式相同,参数不同),那么这两个分布互称为共轭分布。

性质:分布的表达式相同,参数不同

描述:共轭分布概念通常出现在贝叶斯概率理论中,如果后验概率P(θ|X)和先验概率P(θ)满足同样的分布律(形式相同,参数不同)。那么,先验分布和后验分布被叫做共轭分布,同时,先验分布叫做似然函数的共轭先验(分布)


9. 共轭函数(对偶函数、极化函数)

定义:设函数 f:R^n\rightarrow R, 定义函数f^*:R^n\rightarrow R为:

                                                       f^*(y)=\sup_{x\in dom f} (y^Tx-f(x)),

则函数f^*是函数f的共轭函数。其中dom f表示函数f的定义域。sup表示函数的上确界,即最小上界。y是共轭函数f^*的变量。

使f^*上确界有限(即 y^Tx-f(x) 在dom f 上有上确界)的所有的y\in R^n构成共轭函数f^*的定义域。下图描述了此定义。

共轭复数,共轭根式,共轭矩阵,共轭方向,共轭方向法,共轭梯度法,共轭分布,共轭函数,傅里叶变换的共轭对称_第4张图片

特点:无论原函数f是否是凸函数,它的共轭函数f^*都是凸函数。

性质:1)凸函数的共轭函数的共轭函数是原函数,f^{**}=f

           2)更多具体性质可参考《凸优化(王书宁 译)》第85页

相关:可微函数的共轭函数称为函数的Legendre变换。为了区分一般情况和可微情况下所定义的共轭,一般函数的共轭有时称为Fenchel共轭


 

参考:[1] 连续时间傅里叶变换的共轭与共轭对称性(详细推导)

           [2]【机器学习之数学】02 梯度下降法、最速下降法、牛顿法、共轭方向法、拟牛顿法

           [3]《凸优化(王书宁 译)》

           [4]《最优化方法(赖炎连 贺国平 主编)》的第三章

你可能感兴趣的:(共轭复数,共轭根式,共轭矩阵,共轭方向,共轭方向法,共轭梯度法,共轭分布,共轭函数,傅里叶变换的共轭对称)