PCA白化与ZCA白化的推导

PCA白化与ZCA白化的推导

---

  最近看到batch normalization的原理时候，看到了PCA白化和ZCA白化的算法，但有些疑惑，经过推导终于解决，特此记录。

白化的概念：

白化是一种重要的预处理过程，其目的就是降低输入数据的冗余性，使得经过白化处理的输入数据具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。

PCA白化与ZCA白化：

白化处理分PCA白化和ZCA白化，PCA白化保证数据各维度的方差为1，而ZCA白化保证数据各维度的方差相同。PCA白化可以用于降维也可以去相关性，而ZCA白化主要用于去相关性，且尽量使白化后的数据接近原始输入数据。

  疑惑就是：PCA白化原理类似于PCA，就是通过将原始数据映射到新的特征空间，从而使得数据各维度特征之间呈现独立不相关，实现白化效果；但是ZCA则是在PCA白化的基础上，再映射回初始空间，那这样不是相当于又把数据还原了吗？为什么还能保持特征不相关呢？我经过数据仿真，ZCA完全可以实现白化。（以下为了方便，混淆使用了独立和不相关的概念）

PCA白化

• 假设有一组协方差矩阵为$C$的原始数据$X$，需要找到基向量$P$，使得$Y=PX$，并且$Y$的协方差矩阵$D$为对角矩阵，即$Y$各个特征是独立不相关的，可以推导出$D$与$C$的关系如下：

$$\begin{array}{rl}D& =\frac{1}{m}Y{Y}^T\\ & =\frac{1}{m}(PX)(PX{)}^T\\ & =\frac{1}{m}PX{X}^T{P}^T\\ & =P(\frac{1}{m}X{X}^T)P^T\\ & =PC{P}^T\end{array}$$

• 从上式可得，$P$其实就是$C$进行对角化得到$D$的特征向量，PCA的基本原理也是在于此，即将原始数据的协方差矩阵进行特征分解，得到的特征向量就是降维空间的基向量。而PCA白化还要在此基础上多一个步骤，就是将新数据除以特征值的开方：

$$Y_{white}=\sqrt{D^{-1}}Y$$

ZCA白化

• ZCA白化是在PCA白化得到的数据的基础上再乘以$P^T$，即：

$$\begin{array}{rl}{Z}_{white}& =P^T{Y}_{white}=P^T\sqrt{D^{-1}}Y\end{array}$$

• 这里开始对开篇提出的疑惑进行数学推导上的解释，先说结论：因为中间除以特征值的开方，使得数据映射回到原始的空间时，依然保留了独立的特性。下面分别看看是否除以特征值的开方（这里是矩阵运算，所以是左乘特征值矩阵的逆矩阵开方，即$\sqrt{D^{-1}}$)得到的$Z$数据的协方差情况，假设$Z$的协方差矩阵为$A$：

1. 按照正式的ZCA白化流程，映射之前除以特征值的开方得到$Z$

$$\begin{array}{rl}A& =\frac{1}{m}Z{Z}^T\\ & =\frac{1}{m}(P^T\sqrt{D^{-1}}Y)(P^T\sqrt{D^{-1}}Y{)}^T\\ & =P^T\sqrt{D^{-1}}(\frac{1}{m}Y{Y}^T)\sqrt{D^{-1}}P\\ & =P^T\sqrt{D^{-1}}D\sqrt{D^{-1}}P\\ & =P^{T}EP\\ & =P^{T}P=E\end{array}$$

• 从公式中可以看到，$Z$的协方差矩阵$A$其实是个单位阵，因此$Z$的各个特征之间肯定是独立不相关的（这个结论可以参考协方差矩阵与特征不相关之间的关系）。

2. 直接映射回原始空间，不除以特征值的开方得到$Z$

$$\begin{array}{rl}A& =\frac{1}{m}Z{Z}^T\\ & =\frac{1}{m}(P^{T}Y)(P^{T}Y{)}^T\\ & =P^T(\frac{1}{m}Y{Y}^T)P\\ & =P^{T}DP\\ & =C\end{array}$$

• 由此可见，如果不除以特征值的开方，得到的$A$的协方差就会被还原成原始数据的协方差$C$，因此，ZCA白化之所以会发挥白化的效果，就是因为先除以特征值的开方，再映射回原始的空间