矩阵论-线性空间和广义拟, since 2021-01-17

线性空间和广义逆

(2021.01.17 Sun)

线性空间

这里仅限于讨论实数向量组成的线性空间，它是直观的二、三维向量空间的自然推广。

线性空间S是向量的一个集合，它对向量加法和数乘两种运算具有封闭性，即S中任意两个向量之和皆仍在S中，S中任一向量和任一实数的乘积也仍在S中，且满足加法结合律和交换律，数乘结合律和分配律等基本性质。
...
\placeholder

广义逆generalised inverse matrix

定义：对矩阵，一切满足方程组的矩阵X，称为矩阵A的广义逆，记为.

定理：设A为矩阵，.若,这里P和Q分别是, 的可逆阵，则这里的B, C和D为适当结束的任意矩阵。

推论：
(1) 对任意矩阵，总是存在的；
(2) 唯一为可逆方阵，此时；
(3) ；
(4) 若则与的选择无关。

推论：
(1) 与广义逆的选择无关；
(2)

定理：
设为一相容方程组，则
(1) 对任一广义逆，必为解；
(2) 齐次方程组的通解为，这里为任意的向量，为任意固定的一个广义逆；
(3) 的通解为其中为任一固定的广义逆，为任意向量。

定理：
设为相容线性方程组，且，那么当取遍的所有广义逆时，构成了该方程组的全部解。

定理：
设可逆。若，则 $A_{-1}=\begin{pmatrix} A_{11} & A_{12} \\ A_{21} & A_{22}\end{pmatrix} ^{-1} = \begin{pmatrix}A^{-1}_{11}+A^{-1}_{11}A_{12}A_{22.1}^{-1}A_{21}A_{11}^{-1} & -A^{-1}_{11}A_{12}A^{-1}_{22.1} \\ -A^{-1}_{22.1}A_{21}A_{11}^{-1} & A^{-1}_{22.1} \end{pmatrix}$ .若，则
其中,

(2021.01.29 Fri)
奇异值分解singular value decomposition
定理：设矩阵的秩为，记为，则存在两个正交方阵，使其中.是的非零特征根。
证明：因为是对称阵，故存在正交方阵，使得
记，则上式为
说明的列向量相互正交，且前个列向量长度分别为，后个列向量为0向量，于是存在一个正交方阵，使得
再由，得证。

通常称为的奇异值。

(2021.01.30 Sat)
另一种表达与推导：
矩阵，和都是对称阵，分别是和阶。若，则矩阵的奇异值分解为。其中矩阵的大小为，列向量是矩阵的特征向量，也称为的左奇异向量；矩阵的大小为，列向量是矩阵的特征向量，也称为的右奇异向量；矩阵的尺寸分别为，两个矩阵对角线上的非零元素相同，也就是和的非零特征值相同。矩阵的尺寸为，位于对角线上的元素称为奇异值。

令，有。当时，和的大小不同，但是他们对角线上的非零元素却相同。设和对角线上的非零元素分别是，这些特征值也都是非负，令矩阵对角线上的非零元素值是，则有也就是非零奇异值的平方对应着矩阵(或)的非零特征值。

广义逆的分解定理
设矩阵可做奇异值分解，则其广义逆有且对任意矩阵，唯一。
证明：通过广义逆的定义可证。

的性质
是一个特殊的，具有的全部性质，并有如下性质：

设是一个非零向量，则
为对称方阵，可表示为这里是正交阵，，则有

定理：在相容线性方程组的解集中，是长度最小者。
证略。

(2021.01.31 Sun)

幂等方阵idempotent matrix

定义
若方阵满足，则称为幂等阵(idempotent matrix)。
定理和性质

幂等阵的特征根只能为0或1
对任意的矩阵
- 都是幂等阵
- 都是幂等阵
- 若是对称幂等阵，则
若幂等，则
证明：设，则存在可逆方阵，使得将分块：，其中为的矩阵，，其中为的矩阵，于是。同时，因为，得到故，所以。得证。
幂等
设是对称幂等阵，，则存在秩为的，使得

证明：由对称幂等，故存在正交阵，使得 $P=R\left(\begin{array} {} I_r & 0 \\ 0 & 0 \end{array} \right)R'=(R_1 \space R_2)\left( \begin{array}{} I_r & 0 \\ 0 & 0 \end{array} \right)\left( \begin{array}{} R'_1\\R'_2 \end{array} \right)=R_1R'_1 =R_1(R'_1R_1)^{-1}R'_1$ 这里用到了，再令，定理得证。

Reference

王松桂等，线性模型引论，科学出版社
奇异值分解的揭秘