ufldl 白化

假设X为矩阵，行数为特征数L，列数为样本数M。

SVD：

对角化：

求SVD：，转化为求对角化（）。

求对角化：求出所有特征值，对应的u排列成矩阵就是U。

PCA降维：，其中。

一些解释：对X进行旋转变换，特征选择，恢复原数据域。

白化：假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性；更正式的说，我们希望通过白化过程使得学习算法的输入具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。

PCA白化操作：，其中为D对角线元素取倒数。

ZCA白化操作：，其中。

正则化：，其中为D对角线元素加上，然后取倒数。主要用来防止对角线元素很小时的溢出问题。

验证：原数据的协方差矩阵；旋转变换后的协方差矩阵，是对角矩阵满足(i)；，方差都相同满足(ii)。

参考网站：http://ufldl.stanford.edu/wiki/index.php/%E4%B8%BB%E6%88%90%E5%88%86%E5%88%86%E6%9E%90