矩阵乘以其矩阵转置

在推导公式和计算中，常常能碰到矩阵乘以其矩阵转置，在此做个总结。

1.假设矩阵A是一个 m∗n m ∗ n 矩阵，那么
A∗AT A ∗ A T 得到一个 m∗m m ∗ m 矩阵， AT∗A A T ∗ A 得到一个 n∗n n ∗ n 的矩阵，这样我们就能得到一个方矩阵。
看一个例子:

Xθ=H X θ = H 求解 θ θ .
XTXθ=XTH X T X θ = X T H 这个矩阵X我们不能确定是否是方矩阵，所以我们在其左侧同时乘以X矩阵的转置，这样 就在 θ θ 的左侧得到一个方矩阵。
(XTX)−1XTXθ=(XTX)−1XTH ( X T X ) − 1 X T X θ = ( X T X ) − 1 X T H 再在等式的两边乘以 XTX X T X 的逆，就变成了单位矩阵 I I 和 θ θ 相乘，这样我们就得到了 θ θ 的解:
θ=(XTX)−1XTH θ = ( X T X ) − 1 X T H

2.对称矩阵
如果方阵A满足 AT=A A T = A ,就称A为对称矩阵。
假设 A=XTX A = X T X ,A的转置 AT=(XTX)T=XTX=A A T = ( X T X ) T = X T X = A ,所以我们可以说 (XTX) ( X T X ) 是一个对称矩阵。对称矩阵的特征向量两两正交。 1

3.奇异值分解(SVD)
我们可以用与A相关的特征分解来解释A的奇异值分解。A的左奇异向量是 AAT A A T 的特征向量，A的右奇异向量是 ATA A T A 的特征向量，A的非零奇异值是 ATA A T A 特征值的平方根，同时也是 AAT A A T 特征值的平方根。 2

Reference:

---

1. https://blog.csdn.net/BingeCuiLab/article/details/47209037 ↩
2. Goodfellow I, Bengio Y, Courville A, et al. Deep learning[M]. Cambridge: MIT press, 2016. ↩