SVD算法理解

SVD是一种强大的降维工具,同时也用于去噪,或图片压缩,本质上SVD是使用奇异值分解,这是矩阵中的一种解法。

SVD算法将原始数据 Data, 分解为  U\sumVT即:

                                         DATA = U\sum VT

             维度 DATA : (m, n)

                     U:  (m, m)  其实U是一个正交矩阵,也是A*AT的特征向量

                     \sum:  (m, n) 对角线是按从大到小的奇异值,我们其实可以选取95%的奇异值,后面的奇异值可以认为是噪音,而抛弃

                      VT: (n, n)  其它VT也是一个正交矩阵,也是AT*A 的特征向量

         如果我们选取奇异值为前k 个那么可以得出:

                       DATA [m, n] \approx U[m, k]* \sum [k, k] * VT[k, n]

         到这里奇异值分解就完成,接下来是降维了,降维又考虑将DATA[m, n] 降m维度,还是将方向得维度(个人理解)

         降m方向的维度是利用U来进行降维的:

                      NEWDATA'[k,n] = \sum[k, k] * UT[k,m] * DATA[m,n]

                      NEWDATA[n,k] =  DATAT[n, m]U[m,k]* \sum[k, k]

     降n方向的维度:

                    NEWDATA`[m, k] = DATA[m, n] * V[n, k]* \sum[k, k]

                   NEWDATA[k, m] = \sum[k, k]* VT[k,n] * DATAT[n,m]

编程上可以使用numpy库:

import numpy as np
U,Sigma, VT = np.linalg.svd(data)
#注意返回的Sigma是一维数组,这样更节省空间

                 

SVD用途还挺广的,一般用于推荐系统,根据用户以往的数据对新菜品进行评分,可以使用基于协同过滤来计算,它的核心是

计算相似度,在信息检索中,也发挥它的作用.

       

 

 

 

 

 

你可能感兴趣的:(SVD算法理解)