Sparse Principal Component Analysis

背景:

sparse PCA 较 PCA来说更具可解释性，泛化性。

部分符号

假设样本已经中心化（每一个行为一个样本）



为主成分（PCs）

创新点

1.将PCA问题转化为一个回归问题，利用最小角回归，可以高效求解Lasso问题。
2.二重迭代求解，sparse PCA问题。

文章梗概

The LASSO AND THE ELASTIC NET

普通的Lasso

在这里插入图片描述

这个方法的问题在于，当

的时候，

最多有n个非零项（这是为什么呢？）

The elastic net

在这里插入图片描述

将PCA改造为回归问题

定理一 考虑单个向量（需要先进行SVD）

在这里插入图片描述

定理二 单个向量（无需进行SVD版本）

在这里插入图片描述

定理三 多个向量（无需进行SVD， 非LASSO，非elastic net）

在这里插入图片描述

目标函数（最终版）

在这里插入图片描述

俩步求解

在这里插入图片描述

定理四 A given B的理论支撑（存疑）

在这里插入图片描述

算法一

在这里插入图片描述

方差计算

因为稀疏化后的向量，既不具有空间上（往往）的正交性，也不具有概率上（）的正交性。这里，Zou 考虑的是概率上的正交性，将得到的向量正交化，把余量相加得最后的方差。

在这里插入图片描述

复杂度

： #m是迭代次数

算法改进

简单来说，就是把step2改进下，原来需要求解一个elastic net问题，现在直接进行截断，自然会减轻不少负担。

在这里插入图片描述

数值实验（pitprops）

在这里插入图片描述

在这里插入图片描述