7.4.5 鲁棒主成分分析 PCA

7.4.5 鲁棒主成分分析 PCA

根据每个样本点数据 ${\mathbf{a}}_i$ 在第一主方向 ${\mathbf{u}}_1$ 上的投影的方差最大，知样本点在此方向最分散，为第一主方向。我们可以反过来思考，每个样本点数据 ${\mathbf{a}}_i$ 在某个方向 $\alpha$ 上投影，计算其方差，方向不同时，方差是不同的，当方差最大时，此时方向就是第一主方向，所以第一主方向可如下定义：
$$\begin{gathered} {\mathbf{u}}_1=argma{x}_{\alpha }\sum _{{\mathbf{a}}_i\in A}({\mathbf{a}}_i^T\alpha {)}^2 \\ =argma{x}_{\alpha }(A^T\alpha {)}^T{A}^T\alpha ==argma{x}_{\alpha }{\alpha }^T(A{A}^T)\alpha \end{gathered}$$

该定义是计算方差，需进行平方运算，在最小二乘法章节指出，平方运算很容易受到异常点的影响，比如数据矩阵 $A$ 中存在离群的样本点，即使这样的离群点数目很少，也会导致第一主方向极大地偏离理想方向。如果点云不存在离群点，即样本点都是采样于高斯分布，则上述计算得到的主方向就是最优主方向。

为了提高鲁棒性即抗离群点能力，需要减弱离群点对方差的贡献，采用一次函数就可达到目的，即使用绝对值，而不是平方，则第一主方向可如下定义：
$${\mathbf{u}}_1=argma{x}_{\alpha }\sum _{{\mathbf{a}}_i\in A}|{\mathbf{a}}_i^T\alpha |$$

这是一种常用的鲁棒PCA，原理简单易懂，效果也较好，计算也方便。下面来求解 ${\mathbf{u}}_1$ 。

$$\begin{gathered} J_1=\sum _{{\mathbf{a}}_i\in A}|{\mathbf{a}}_i^T\alpha |=\sum _{{\mathbf{a}}_i\in A}|{\alpha }^T{\mathbf{a}}_i| \\ =\sum _{{\mathbf{a}}_i\in A_{+}}{\alpha }^T{\mathbf{a}}_i-\sum _{{\mathbf{a}}_i\in A_{-}}{\alpha }^T{\mathbf{a}}_i \\ ={\alpha }^T(\sum _{{\mathbf{a}}_i\in A_{+}}{\mathbf{a}}_i-\sum _{{\mathbf{a}}_i\in A_{-}}{\mathbf{a}}_i) \\ =2{\alpha }^T\sum _{{\mathbf{a}}_i\in A_{+}}{\mathbf{a}}_i \end{gathered}$$

其中集合 $A_{+}=\{{\mathbf{a}}_i\in A:{\alpha }^T{\mathbf{a}}_i\ge 0\}$ 即与向量 $\alpha$ 夹角小于等于 $90$ 度的样本集 和 $A_{-}=\{{\mathbf{a}}_i\in A:{\alpha }^T{\mathbf{a}}_i<0\}$ 。

因为样本集进行了中心化，所以 ${\sum }_{{\mathbf{a}}_i\in A}{\mathbf{a}}_i=0$ ，因此 ${\sum }_{{\mathbf{a}}_i\in A_{+}}{\mathbf{a}}_i=-{\sum }_{{\mathbf{a}}_i\in A_{-}}{\mathbf{a}}_i$ 。

要最大化 $J_1$ ，只需向量 $\alpha$ 与向量 ${\sum }_{{\mathbf{a}}_i\in A_{+}}{\mathbf{a}}_i$ 平行即可，所以
$$\alpha =unit(\sum _{{\mathbf{a}}_i\in A_{+}}{\mathbf{a}}_i)$$
即单位化向量 ${\sum }_{{\mathbf{a}}_i\in A_{+}}{\mathbf{a}}_i$ 。

所以可以采用迭代法求解最优 ${\mathbf{u}}_1$ 。首先随机生成单位向量 $\alpha$ 。

1、根据内积 ${\alpha }^T{\mathbf{a}}_i$ 符号，划分集合 $A_{+}$ ；

2、令 $\alpha =unit({\sum }_{{\mathbf{a}}_i\in A_{+}}{\mathbf{a}}_i)$ 最大化 $J_1$ ，得到新的单位向量 $\alpha$。

重复上面两步，直到收敛即单位向量 $\alpha$ 改变很小，此时 ${\mathbf{u}}_1=\alpha$ 。

可计算第一主方向上方差为 $\Vert A^T{\mathbf{u}}_1{\Vert }^2$ ，注意其不等于矩阵 $A$ 奇异值 ${\sigma }_1$ 。

那如何计算第二主方向呢？

第二主方向是垂直于第一主方向，最大方差方向即
$${\mathbf{u}}_2=argma{x}_{\alpha \in \perp {\mathbf{u}}_1}\sum _{{\mathbf{a}}_i\in A}|{\alpha }^T{\mathbf{a}}_i|$$

把每个样本点沿第一主方向进行正交分解，即分解为第一主方向分量 ${\mathbf{a}}_i^{\parallel }$ 和垂直于第一主方向分量 ${\mathbf{a}}_i^{\perp }$ ，则
$$\begin{gathered} {\mathbf{a}}_i={\mathbf{a}}_i^{\parallel }+{\mathbf{a}}_i^{\perp } \\ {\mathbf{a}}_i^{\perp }=(E-{\mathbf{u}}_1{\mathbf{u}}_1^T){\mathbf{a}}_i \\ {\mathbf{a}}_i^{\parallel }={\mathbf{u}}_1{\mathbf{u}}_1^T{\mathbf{a}}_i \end{gathered}$$

令
$$\begin{gathered} J=\sum _{{\mathbf{a}}_i\in A}|{\alpha }^T{\mathbf{a}}_i| \\ =\sum _{{\mathbf{a}}_i\in A}|({\mathbf{a}}_i^{\parallel }+{\mathbf{a}}_i^{\perp })({\alpha }^{T\parallel }+{\alpha }^{T\perp })| \\ =\sum _{{\mathbf{a}}_i\in A}|{\mathbf{a}}_i^{\parallel }{\alpha }^{T\parallel }+{\mathbf{a}}_i^{\perp }{\alpha }^{T\perp }| \end{gathered}$$

当 $\alpha \in \perp {\mathbf{u}}_1$ 时，即 ${\alpha }^{\parallel }=0$ ，
$$J_2=J=\sum _{{\mathbf{a}}_i\in A}|{\mathbf{a}}_i^{\perp }{\alpha }^{T\perp }|$$

要使 $J_2$ 最大化，同样可以采用使 $J_1$ 最大化的迭代法，只需保证 $\alpha$ 始终垂直于 ${\mathbf{u}}_1$ ，由于 ${\mathbf{a}}_i^{\perp }$ 均垂直于 ${\mathbf{u}}_1$ ，故 ${\sum }_{{\mathbf{a}}_i\in A_{+}}{\mathbf{a}}_i^{\perp }$ 垂直于 ${\mathbf{u}}_1$ ，其中集合 $A_{+}=\{{\mathbf{a}}_i\in A:{\mathbf{a}}_i^{\perp }{\alpha }^T\ge 0\}$ 。所以只要初始化时 $\alpha$ 垂直于 ${\mathbf{u}}_1$ 即可，则令 $\alpha =uint((E-{\mathbf{u}}_1{\mathbf{u}}_1^T)\mathbf{v})$ 其中 $\mathbf{v}$ 为单位随机向量。

整理上面结论得到第二主方向的计算过程：

首先样本点投影到垂直于第一主方向的子空间，即 $(E-{\mathbf{u}}_1{\mathbf{u}}_1^T)A$ ，为了简化记号，投影后的数据矩阵还是记为 $A$ ，其次随机生成单位向量 $\alpha =uint((E-{\mathbf{u}}_1{\mathbf{u}}_1^T)\mathbf{v})$ 其中 $\mathbf{v}$ 为单位随机向量，最后最大化 $J_2=2{\alpha }^T{\sum }_{{\mathbf{a}}_i\in A_{+}}{\mathbf{a}}_i$ ，此时 ${\mathbf{u}}_2=\alpha$ 。

可计算第二主方向上方差为 $\Vert A^T{\mathbf{u}}_2{\Vert }^2$ ，注意其不等于矩阵 $A$ 奇异值 ${\sigma }_2$ 。

第 $k+1$ 个主方向的计算过程如下：

首先样本点投影到垂直于前 $k$ 个主方向的子空间，即 $A_{k+1}=(E-{\mathbf{u}}_k{\mathbf{u}}_k^T)A_k$ ，其中 $A_0=A$ 为原数据矩阵，${\mathbf{u}}_0=0$ 为零向量。为了简化记号，投影后的数据矩阵还是记为 $A=A_{k+1}$ ，其次随机生成单位向量 $\alpha =uint((E-({\mathbf{u}}_1{\mathbf{u}}_1^T+\cdots +{\mathbf{u}}_k{\mathbf{u}}_k^T))\mathbf{v})$ 其中 $\mathbf{v}$ 为单位随机向量，最后最大化 $J_{k+1}=2{\alpha }^T{\sum }_{{\mathbf{a}}_i\in A_{+}}{\mathbf{a}}_i$ ，此时 ${\mathbf{u}}_{k+1}=\alpha$ 。

据此可以获得全部主方向 ${\mathbf{u}}_1,\cdots ,{\mathbf{u}}_r$ ，取前 $k$ 个作为最后的主方向。

数据矩阵重构如果采用经典PCA重构方法，由于主方向计算方法不同，即使采用全部主方向，也不能使重构残差为零。

异常点检测

点云位于 $m$ 维空间的 $k$ 维子空间，在该子空间中可被超椭球紧致包围，位于该椭球内的点认为是正常点，椭球外的点是异常点，越是远离椭球，异常度越大。据此提出两个定量指标衡量异常程度，一个是显而易见的，异常点位于 $k$ 维子空间外，其与 $k$ 维子空间的垂直距离为 OD，距离越大，则越异常，样本点 ${\mathbf{a}}_i$ 的垂直距离 $O{D}_i$ 为
$$O{D}_i=\Vert (E-\sum _{j=1}^k{\mathbf{u}}_j{\mathbf{u}}_j^T){\mathbf{a}}_i\Vert$$

异常点虽然位于 $k$ 维子空间，但远离椭球中心，即异常点投影值 ${\mathbf{u}}_j^T{\mathbf{a}}_i$ 很大，对每个投影值用该主方向上方差的平方根 ${\sigma }_j$ 归一化，得到投影距离 PD，距离越大，则越异常，样本点 ${\mathbf{a}}_i$ 的投影距离 $P{D}_i$ 为

$$P{D}_i=\sqrt{\sum _{j=1}^k({\mathbf{u}}_j^T{\mathbf{a}}_i/{\sigma }_j{)}^2}$$

以三维作为例子直观说明异常点，假设正常点云位于平面上椭圆内，则该平面内远离椭圆的点投影距离 PD 大；该平面外的点距离该平面的距离为垂直距离 OD，距离越大，则越异常。

根据垂直距离和投影距离，可以把样本点分为四类：
1、正常样本点：两个距离都小，在正常范围内；
2、好杠杆点：投影距离大，垂直距离正常；
3、坏杠杆点：投影距离大，垂直距离大；
4、垂直外点：投影距离正常，垂直距离大。
后面三种都是异常点。

这样可以获得诊断图，横坐标为投影距离，纵坐标为垂直距离，绘制每个样本点。聚集在原点附近的点为正常点，远离原点的点为异常点。

当存在特别离群的点或离群点比例较高时，此时可以先去除这些离群点，然后利用剩下的正常点进行常规PCA，可以获得更好的结果。利用此时的主方向和奇异值，重新绘制诊断图。

上面介绍的仅是众多鲁棒主成分方法的一种，鲁棒主成分方法的核心是获得方差 ${\mathbf{u}}_1=argma{x}_{\alpha }{\sum }_{{\mathbf{a}}_i\in A}({\alpha }^T{\mathbf{a}}_i{)}^2$ 的鲁棒估计，采用绝对值只是一种比较直观的方法。

采用中值估计方差是一个更鲁棒的方法，但寻求最优解很困难。令投影为 $z_i={\alpha }^T{\mathbf{a}}_i$ ，则基于中值的方差估计公式为

$$S=1.483med(|z_i-z^{\ast }|)$$

其中 $z^{\ast }$ 是投影 $z_i$ 的中值，系数 1.483 是为了使方差估计值与高斯分布一致，$S$ 为方差的平方根，称为标准差。具体如何获得最优解，由于很复杂，不打算展开。