奇异值分解

https://blog.csdn.net/Jayphone17/article/details/113106887

降维与压缩——奇异值分解（SVD）

奇异值分解（Singular Value Decomposition，SVD）可以用于降维，特别是在矩阵压缩、特征提取和去噪等方面。下面是SVD降维的原理和一个简单的Python案例：

SVD降维原理：

• 计算SVD： 对给定的矩阵 ( A ) 进行奇异值分解，得到 ( U, \Sigma, V^T )。

• 选择主要特征： 将奇异值按照大小排序，保留最大的 k 个奇异值对应的列向量，其中 ( k ) 是降维后的维度。

• 构建新矩阵： 用选定的特征构建一个新的矩阵，即 ( A_k = U_k \Sigma_k V_k^T )，其中 ( U_k, \Sigma_k, V_k^T ) 是相应的前 ( k ) 个列向量或对角元素。

降维体现在什么方面：
数据压缩： 通过保留主要特征，可以将原始数据压缩到较低的维度，从而减少存储和计算的开销。

噪音过滤： 降维可以过滤掉一些噪音和不重要的信息，提高数据的鲁棒性和泛化能力。

特征提取： 保留最重要的特征，有助于发现数据中的潜在模式和结构，对于机器学习任务具有重要意义。