幂等矩阵(Idempotent matrix)

在线性代数中,幂等矩阵是指一个矩阵乘以自己等于自己。也就是说,当且仅当MM==M时,M是幂等的;因此,M必须是方阵。从这个方面看,幂等矩阵是矩阵环的幂等元组成。

举例这两个矩阵分别为和的幂等矩阵。

    1. 实数的幂等矩阵分析

如果矩阵是幂等的,则如下公式成立:

                      (1)

                       (2)

                        (3)

                        (4)

从公式2和公式3得出,b=0且c=0,或者a+d=1。因此,对于的幂等矩阵,或者是对角方阵,或者是trace为1的方阵。而且如果是对角矩阵,则a和d或者都为0,或者都为1.

如果b=c的话,则只要满足,矩阵是幂等矩阵。因此,a要满足如下的二元二次方程,

,即

这就是以(1/2,0)为圆点,以1/2为半径的圆。引入角度θ标识,则幂等矩阵为

当前上面的幂等矩阵只是幂等矩阵的一个特例,因为b=c不是必须的限定条件,其实只要满足,矩阵,就是幂等矩阵。

    1. 特性

幂等矩阵除了幂等的特性外,它还是奇异的。假如M是满秩的,则。如果M是满秩的,则M必须是单位矩阵。

如果M是幂等矩阵,则M-I也一定是幂等矩阵,

如果M是幂等矩阵,则它一定是可对角化的,即一定存在一个矩阵P,使得,其中A是对角矩阵,A的值为1或0。幂等矩阵的迹等于幂等矩阵的秩,必须是一个整数。该特性提供了一个快速计算幂等矩阵的秩的方法。

    1. 应用

幂等矩阵通常用于回归分析和经济学中。例如,在普通的最小二乘中,回归问题是选择一个互相关系数向量β来最小化平方残差,用矩阵的形式描述如下:

最小化

这里,y是观测输出的因变量向量,X的每一列是自变量中的一个的一列观测结果。估算的结果是,

这里,T标识转置,残差向量为:

这里的M和都是幂等矩阵且对称的,也被称为“帽子矩阵”(hat matrix)。因此,可以简化残差平方和为,

M的幂等特性在其它值的运算中也有用,例如计算的方差。

你可能感兴趣的:(机器学习的数学基础)