[线性代数] 矩阵白化
给一个任意矩阵 X，一般情况下它的协方差矩阵并不是对角矩阵。矩阵白化就是用一个白化矩阵 A，使 Y = A * X 的协方差矩阵转化为对角矩阵。
这里首先指出 Y = A * X 成立的前提是 X 中的元素是按列排列的，如果 X 按行排列，Y = X * A。
1. 数学推导
如果数据按行排列则协方差矩阵的定义是（假设 X is already zero-mean）：
我们的目标是找到白化矩阵 A 使 cov(Y) 为对角矩阵。为了简化，下面的推导过程中省略了前面的系数 1/(m-1)，
U 和 D 分别是 cov(X) 的特征向量和特征值对角矩阵：
结论就是如果数据按行排列，白化矩阵 A 为：
Y = X * A。
如果数据按列排列，白化矩阵 A 为：
Y = A * X。
2. matlab 代码
clear; clc;
%% data are stored as rows.
X = randi(10,2,3);
[rows, cols] = size(X);
%% zero-mean.
meanMatrix = mean(X);
X = X - ones(rows, 1) * meanMatrix;
%%
% covM is symmetric, so svd is the same as eig.
% 1. U = V
% 2. svd is more stable than eig.
covM = cov(X);
[U, D, V] = svd(covM)
% add a small number eps to avoid singular Matrix situations.
A = U * inv(diag(sqrt(diag(D) + eps))); % use inv
% A = U * diag(1 ./ (sqrt(diag(D) + eps))); % or use ./
Y = X * A
cov(Y)