SVD理论以及Python实现

SVD

将一个矩阵分解为U，V（U,V均为列正交矩阵，即列向量直接内积为0），中间的矩阵为对角阵，元素为奇异值。

$$A_{[m\ast n]}=U_{[m\ast r]}\ast \sum _{[r\ast r]}\ast (V_{[n\ast r]}{)}^T$$

SVD计算方式

$$\begin{gathered} A=U\ast \sum \ast V^T \\ {A}^T=V\ast \sum \ast U^T \\ A{A}^T=U\ast \sum \ast V^T\ast V\ast \sum \ast U^T \end{gathered}$$

• 由于其为列正交向量，所以矩阵在非对角位置都为0， 因此当V的列向量是单位向量时，对角位为1，则为单位阵。

$$\begin{gathered} A{A}^T=U{\sum }^2{U}^T \\ A{A}^{T}U=U{\sum }^2 \end{gathered}$$
因此，U为$A{A}^T$特征向量构成的矩阵，然后${\sum }^2$的对角元为特征值。

同理，可知，$A^{T}A$对应于V的计算。

Python实现

• 导入包

import numpy as np

• 创建数据

A = np.linspace(0, 14, 15).reshape((3, -1))
A

array([[ 0.,  1.,  2.,  3.,  4.],
       [ 5.,  6.,  7.,  8.,  9.],
       [10., 11., 12., 13., 14.]])

• 实现

def SVD(A, n):
    M = np.dot(A, A.T)
    eigval, eigvec = np.linalg.eig(M)
    indexes = np.argsort(-eigval)[:n]
    U = eigvec[:, indexes]
    sigma_sq = eigval[indexes]
    M = np.dot(A.T, A)
    eigval, eigvec = np.linalg.eig(M)
    indexes = np.argsort(-eigval)[:n]
    V = eigvec[:, indexes]
    sigma = np.diag(np.sqrt(sigma_sq))
#     print(sigma)
    return np.dot(np.dot(U, sigma), V.T)

• 调用

A_ = SVD(A, 2)
A_

array([[2.01625019e-16, 1.00000000e+00, 2.00000000e+00, 3.00000000e+00,
        4.00000000e+00],
       [5.00000000e+00, 6.00000000e+00, 7.00000000e+00, 8.00000000e+00,
        9.00000000e+00],
       [1.00000000e+01, 1.10000000e+01, 1.20000000e+01, 1.30000000e+01,
        1.40000000e+01]])

非常近了，然后量化判断下，用二范数来测量下：

np.linalg.norm(A_ - A)

• 总共的误差：1.8697717541841314e-14
• 非常的小了。