笔记-Principal Component Analysis based on L1-norm Maximization(PCA主成分分析)

1. 问题的产生背景

随着技术的发展,不再繁琐的数据收集使得数据的规模越来越大,同时造成数据的复杂性也逐渐攀升,甚至会有成百上千的维度。而高纬度数据中必然会有一些冗余信息,我们希望在不影响性能的前提下尽量简化问题。

2. 存在的问题

在PCA技术中,研究者提出了众多方法。

  • 传统的L2-PCA方法在许多问题上取得了成功,但是由于L2范数容易出现异常值,从而扩大了较大范数的异常值的影响。

  • 基于L1范数的方法比基于L2范数的方法对异常值的鲁棒性更强,由于它是基于线性规划和二次规划,计算量非常大。

    虽然降低了异常值的影响,但是旋转不会不变。

  • 融合了前面两种方法提出R1-PCA算法,这种方法会依赖空间尺寸,需要大量的时间来实现。

3. 文章提出的方法

我们提出的方法在特征空间中最大化L1范数的方法来代替基于L2范数的方差最大化,实现鲁棒性和旋转不变的PCA。

4. 如何求解

  1. 初始化:
  2. 极性检查:
  3. 翻转与最大化:
  4. 收敛检查:笔记-Principal Component Analysis based on L1-norm Maximization(PCA主成分分析)_第1张图片

5. 实验结果

本文将提出的PCA-L1算法应用于几个模式识别问题,并将其与 R1-PCA和L2-PCA的性能进行比较。

  • 离群值问题:L2-PCA受异常值的影响很大,而R1-PCA和PCA-L1有效的抑制了异常值的影响。
  • UCA数据集:比较PCA-L1和其他方法的性能,在许多情况下,当提取的特征数量较少时,PCA-L1的性能要优于L2-PCA和R1-PCA,在许多情况下,PCA-L1的速度比R1-PCA快。
  • 人脸重建:当存在异常值时,PCA-L1在重建原始图像方面比其他方法强。

实验结果表明,我们提出的方法要更快,并且对异常值具有鲁棒性。


有问题欢迎留言交流,谢谢。

你可能感兴趣的:(机器学习,人工智能)