利用PCA，SVD原理实现对图片的特征提取（矩阵降维）

简述SVD和PCA

PCA

PCA是通过计算原始数据的协方差矩阵来将原始的数据构造成方阵；随后选择其中贡献率（方差、熵、特征值）较大，以此来提取一个矩阵的主要特征，并以此来实现降维；

SVD

SVD是通过将构造原始数据$A$，通过$A^T\cdot A$来构造方阵；
随后在其中选择贡献率（方差、熵、奇异值）较大的变量来对原矩阵进行分解，以此来提取数据矩阵的主要特征；

区别

1. 将实际数据转换为方阵的方式不同；PCA是利用去中心化后的原始数据的协方差矩阵来将原始的数据构造成方阵；SVD是通过将构造原始数据$A$，通过$A^T\cdot A$来构造方阵；
2. 通常情况下SVD的奇异值下降的很快，很多时候10%或者1%就能占全部奇异值的99%以上，既也就是SVD有更好的降维效果；
3. 由于$$\frac{1}{n}\cdot X^T\cdot X=\frac{1}{n}US{V}^{T}VS{U}^T=U\frac{S^2}{n}{U}^T.$$故SVD可以获取另一个方向上的主成分，而PCA只获取单方向上的主成分；
4. 通常SVD比PCA更加稳定；因为在计算$X^{T}X$时部分过小的数据会因为计算而丢失，从而使结果相比PCA更加稳定；

具体实现步骤(算法简述)

PCA

1. 对原始数据进行去中心化，即：$$V=\left(\begin{array}{ccc}{x}_{11}-u_1& \cdot \cdot \cdot & x_{n1}-u_n\\ ⋮& \ddots & ⋮\\ x_{m1}-u_1& \cdot \cdot \cdot & x_{mn}-u_n\end{array}\right),其中u_i=\frac{1}{m}\sum _{1\le j\le m}{x}_{ij}$$

2. 计算样本的协方差矩阵：
   $$C=\left(\begin{array}{ccc}cov(x_1,x_1)& \cdot \cdot \cdot & cov(x_1,x_n)\\ ⋮& \ddots & ⋮\\ cov(x_n,x_1)& \cdot \cdot \cdot & cov(x_n,x_n)\end{array}\right)$$
   $$简易公式：C=\frac{1}{m}\cdot X^T\cdot X$$

3. 计算新矩阵C的特征值和特征向量，并对其从大到小进行排序；

4. 选取其中较大的t个特征值对应的特征向量构造新的矩阵：
   $$V=\left(\begin{array}{ccc}{c}_{11}& \cdot \cdot \cdot & c_{1t}\\ ⋮& \ddots & ⋮\\ c_{m1}& \cdot \cdot \cdot & c_{mt}\end{array}\right)$$

5. 将数据投放到新的数据空间中：$L=X\cdot V$

6. 可以将降维后的数据还原，以此来检测损失率:$D=L\cdot V^T+U$

SVD

1. 将原始数据转化为方阵： $D=X\cdot X^T$

2. 计算新矩阵$D$的特征值和特征向量，并对其从大到小进行排序得到特征值对角阵$E$和特征向量阵；

3. 选取其中较大的t个特征值对应的特征向量构造矩阵$V$特征值构成对角阵$S$：
   $$V=\left(\begin{array}{ccc}{d}_{11}& \cdot \cdot \cdot & d_{1t}\\ ⋮& \ddots & ⋮\\ d_{m1}& \cdot \cdot \cdot & d_{mt}\end{array}\right)$$
   $$S=\left(\begin{array}{ccc}{e}_{11}& \cdot \cdot \cdot & 0\\ ⋮& \ddots & ⋮\\ 0& \cdot \cdot \cdot & e_{mt}\end{array}\right)$$

4. 逆向推导,利用$D=U\cdot S\cdot V^T$推导出：$U=D\cdot V\cdot S^{-1}$

5. 可以将降维后的数据还原，以此来检测损失率:$N=U\cdot S\cdot V^{-1}$

程序源码：

以matlab语言为例实现对图片的降维存储

注意： 该程序中是直接选择保留90%的特征，实际情况可以根据需要调整；

clear
clc
disp('利用svd和pca对图像进行降维存储')
disp('原始数据为1080*1920')

%对原始数据进行预处理
data = imread('Example.jpeg');
subplot(2,2,1)
imshow(data)
title('原始图像')
%图像灰度化
data =rgb2gray(data);
data = im2double(data);
%原始图像展示
subplot(2,2,2)
imshow(data)
title('原始图像灰度图')

%=========================================================================
%进行svd分解
[V,D] = eig(data'*data);
[S,D_index] = sort(diag(sqrt(D)),'descend');
S = diag(S);
V=V(:, D_index);
U = data * V * S^-1;
%获得对应的usv

cul = 0;
S_sum = sum(sum(S));
for i = 1:length(S)
    cul = cul + S(i,i)/S_sum;
    if cul > 0.9
        break
    end
end
disp(['提取累积贡献率大于90%的奇异值的个数为   ' num2str(i)])

%展示结果
V = V';
%生成新的数据
majorData = U(:,1:i) * S(1:i,1:i) * V(1:i,:);
subplot(2,2,3)
imshow(majorData)
title('svd提取主要特征之后的图像')

%=========================================================================
%进行PCA分解
d_mean = mean(data);
d_mean(length(data(:,1)),length(d_mean)) = 0;
for j = 1:length(d_mean)
    d_mean(:,j) = d_mean(1,j);  
end
data_mean = data-d_mean;
temp = cov(data_mean);
[V,D] = eig(temp);
[S,D_index] = sort(diag(sqrt(D)),'descend');
S = diag(S);
V=V(:, D_index);


cul = 0;
S_sum = sum(sum(S));
for i = 1:length(S)
    cul = cul + S(i,i)/S_sum;
    if cul > 0.9
        break
    end
end
disp(['提取累积贡献率大于90%的奇异值的个数为   ' num2str(i)])
V = V(:,1:i);
%展示结果
finData =data_mean * V;
%生成新的数据
majorData = finData*V'+ d_mean;
subplot(2,2,4)
imshow(majorData)
title('PCA提取主要特征之后的图像')

运行结果

原图片截图

命令行输出

图片处理结果