机器学习:matlab和python实现SVD(奇异值分解)算法

1.SVD
SVD: Singular Value Decomposition,奇异值分解
SVD算法不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域。是很多机器学习算法的基石。

假设我们现在有一个矩阵M(m×n),如果其存在一个分解:M = UDVT
其中,U(m×m,酉矩阵,即UT=U-1);
D(m×n,半正定矩阵);
VT(n×n,酉矩阵,V的共轭转置矩阵);
这样的分解称为M的奇异值分解。
D对角线上的元素称为奇异值;
U称为左奇异矩阵;
VT称为右奇异矩阵。

2.SVD奇异值分解与特征值分解的关系
特征值分解与SVD奇异值分解的目的都是提取一个矩阵最重要的特征。
然而,特征值分解只适用于方阵,而SVD奇异值分解适用于任意的矩阵,不一定是方阵。

MTM = (UDVT)TUDVT=V(DTD)VT
MMT = UDVT(UDVT)T=U(DDT)UT
这里,MTM和MMT是方阵;
UTU和VT为单位矩阵,
VT为MTM的特征向量,
U为MMT的特征向量。
MTM 和MMT的特征值为M的奇异值的平方

3.SVD奇异值分解的作用核意义
奇异值分解最大的作用就是数据的降维

m×n的矩阵M,进行奇异值分解:
M(m×n) = U(m×m)D(m×n)VT(n×n)
取其前r个非零奇异值,可以还原原来的矩阵,即前个非零奇异值对应的奇异向量代表了矩阵的主要特征。
可以表示为:
M(m×n)约等于 U(m×r)D(r×r)VT(r×n)

4.matlab实现SVD

%% 测试奇异值分解过程
load A.mat;%该文件是做好的一个手写体的图片(28*28 uint8类型)

% for i = 1:28
%     j = 28*(i-1)+1;
%     B(i,:) = A(1,j:j+27);
% end

B = zeros(28,28);%将行向量重新转换成原始的图片
% 方法一:uint8转double类型
for i = 1:28
    for j = 1:28
        B(i,j) = A(i,j);
    end
end

% % 方法二:uint8转double
% B = im2double(A);

%进行奇异值分解
[U S V] = svd(B); 

% U:左奇异矩阵
% S:对角矩阵,对角线上的元素是奇异值,从大到小排列
% V:右奇异矩阵

%选取前面14个非零奇异值
for i = 1:14
    for j = 1:14
        S_1(i,j) = S(i,j);
    end
end

%左奇异矩阵
for i = 1:28
    for j = 1:14
        U_1(i,j) = U(i,j);
    end
end

%右奇异矩阵
for i = 1:28
    for j = 1:14
        V_1(i,j) = V(i,j);
    end
end

B_1 = U_1*S_1*V_1';

%同时输出两个图片
subplot(121);imshow(B); % B是没降维之前
subplot(122);imshow(B_1); % B_是降维后之的

这里有一个疑问?
B是28 * 28,B_也是28 * 28的啊?不是说好的降维呢?
我是这么理解的:
实际上,取前r=14个奇异值,再重构图片,这就是一个降维过程啊,
以前一张图片是m×n,现在把它分解成后,取奇异值前r个,
则,左奇异矩阵为:m×r
奇异值矩阵:r×r
右奇异矩阵:r×n
机器学习:matlab和python实现SVD(奇异值分解)算法_第1张图片
右边的三个矩阵相乘的结果将会是一个接近于A的矩阵,在这儿,r越接近于n,则相乘的结果越接近于A。而这三个矩阵的面积之和(在存储观点来说,矩阵面积越小,存储量就越小)要远远小于原始的矩阵A,我们如果想要压缩空间来表示原矩阵A,我们存下这里的三个矩阵。

[从28维降到了14维]
取的r值越大,重构的图片和原始图片越像。(当然是再矩阵行列数范围内)

run result:
机器学习:matlab和python实现SVD(奇异值分解)算法_第2张图片
原始的矩阵B:
机器学习:matlab和python实现SVD(奇异值分解)算法_第3张图片
分解后的U:
机器学习:matlab和python实现SVD(奇异值分解)算法_第4张图片
分解后的S:
机器学习:matlab和python实现SVD(奇异值分解)算法_第5张图片
分解后的V:
机器学习:matlab和python实现SVD(奇异值分解)算法_第6张图片
5.python实现SVD
python中的numpy提供了SVD分解算法
函数调用:

np.linalg.svd(a,full_matrices=1,compute_uv=1)
# a:一个m×n矩阵
# full_matrices:取值为0或者1,默认取1,这时u大小为m×m,v的大小为n×n;否则,u的大小为m×k,v的大小为k×n,
# k = min(m,n)
# compute_uv:取值为0或者1,默认取1,表示计算u,s,v;取0表示只计算s

from scipy.io import loadmat 
from numpy import linalg as la
from skimage import io # 用于显示图片
import numpy as np

load_data = loadmat('A_0.mat') # 为0手写体
A = load_data['A'] # 获取数据集
A = A[:,0:26]

# 原始图片
io.imshow(A)

#data = np.double(data) # python中svd可直接对uint8进行计算

U,Sigma,VT = la.svd(A)

# Sigma:本身应该是28*26的矩阵,但是只返回一列奇异值不为0组成的向量,为了节省空间
# U:28*28
# V: 26*26

S = np.zeros((28,26))
S[:26,:26] = np.diag(Sigma)
A_recon = np.dot(np.dot(U, S), VT) # 恢复原始维度
io.imshow(A_recon)

run result:
机器学习:matlab和python实现SVD(奇异值分解)算法_第7张图片
总结:我一直在想降维,是高维到低维,比如2826的矩阵,降到2814的矩阵,这样直观产生数据才对啊,我看网上也有和我同样的疑问,这个SVD分解的过程,到取前r个奇异值,(得到简化的U_1,S_1,V_1,这就是降维啊,哈哈哈)进行数据还原,这个才是SVD的精髓所在。

参考和引用:
https://www.zhihu.com/question/34143886 (SVD 降维体现在什么地方?
感觉即使把分解的三个矩阵变小,可乘回去整个矩阵并没有小。)

https://www.jianshu.com/p/9846fc1c4cac

https://blog.csdn.net/google19890102/article/details/27109235

https://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html

https://blog.csdn.net/mingyuli/article/details/81092795

仅用来个人学习和分享,如有错误,请指正。

如若侵权,留言立删。

尊重他人知识产权,不做拿来主义者!

喜欢的可以关注我哦QAQ,

你的关注和喜欢就是我write博文的动力

你可能感兴趣的:(matlab,算法)