SVD分解原理详解

在介绍SVD之前,先补充一些基础知识

1.酉矩阵:

SVD分解原理详解_第1张图片

SVD分解原理详解_第2张图片

2.正规(正定)矩阵

SVD分解原理详解_第3张图片

3.谱分解:

表示正规矩阵,可经由酉变换,分解为对角矩阵;这种矩阵分解的方式,称为谱分解(spectral decomposition)。

4.SVD分解

作为谱定理的泛化,SVD 分解对于原矩阵的要求就要弱得多。

SVD分解原理详解_第4张图片

4.手动SVD分解的一个实例

SVD分解原理详解_第5张图片

SVD的分解实际可以将矩阵 M写成一个求和形式

5.SVD分解的应用:

(1)分析了解原矩阵的主要特征和携带的信息(取若干最大的奇异值),这引出了主成分分析(PCA);

丢弃忽略原矩阵的次要特征和携带的次要信息(丢弃若干较小的奇异值),这引出了信息有损压缩、矩阵低秩近似等话题。

这两方面的应用实际上是对偶的:因为,按重要度排序之后,一方面我们可以知道哪些信息(奇异值)重要,另一方面我就很自然地就可以丢弃不重要的部分。

(2)举一个具体的实例:在图像数字化技术中,一副图片可转换成一个m*n阶像素矩阵来存储,存储量是m*n个数。如果利用矩阵A(秩为r)的奇异值展开式(即上述将SVD分解写成求和的形式),则只要存储A的奇异值,奇异向量U,V的分量,总计r*(m+n+1)个数。取m=n=1000,r=100,则m*n = 10的6次方,而r*(m+n+1)=200100

6. SVD分解实战——SVD与图像分解

# SVD分解
import os
from PIL import Image
import numpy as np
import matplotlib.pyplot as plt


def restore(sigma, u, v, K):
    m = u.shape[0]
    n = v.shape[0]
    svd_result = np.zeros((m, n))
    for k in range(K + 1):
        for i in range(m):
            svd_result[i] += sigma[k] * u[i][k] * v[k]

    svd_result[svd_result < 0] = 0
    svd_result[svd_result > 255] = 255
    return np.rint(svd_result).astype('uint8')



palace = Image.open("palace.jpeg", "r")
print(palace)

output_path = r'./SVD'
if not os.path.exists(output_path):
    os.mkdir(output_path)

palace_array = np.array(palace)

K = 50
u_r, sigma_r, v_r = np.linalg.svd(palace_array[:, :, 0])
u_g, sigma_g, v_g = np.linalg.svd(palace_array[:, :, 1])
u_b, sigma_b, v_b = np.linalg.svd(palace_array[:, :, 2])
plt.figure(figsize=(10, 10))

for k in range(1, K + 1):
    R = restore(sigma_r, u_r, v_r, k)
    G = restore(sigma_g, u_g, v_g, k)
    B = restore(sigma_b, u_b, v_g, k)
    I = np.stack((R, G, B), axis=2)
    Image.fromarray(I).save('%s/svd_%d.png' % (output_path, k))
    if k <= 12:
        plt.subplot(3, 4, k)
        plt.imshow(I)
        plt.axis('off')
        plt.title('svd num: %d' % k)

plt.suptitle('SVD and image decomposition', fontsize=20)


运行得到下图,是不是很神奇呀

 

 

参考链接

http://open.163.com/movie/2016/4/D/4/MBKJ0DQ52_MBQUMH1D4.html

https://www.youtube.com/watch?v=T3dkdfj7YXw

(这个视频里边的分解很简单,但感觉只是适用于某些特殊情况)

书籍:矩阵论--杨明,刘先忠

你可能感兴趣的:(算法/ML,算法)