主成分分析（PCA）的线性代数推导过程

【摘自Ian Goodfellow 《DEEP LEANRNING》一书。觉得写得挺清楚，保存下来学习参考使用。】

主成分分析(principal components analysis, PCA)是一个简单的机器学习算法，可以通过基础的线性代数知识推导。

假设在n维的R空间中我们有 m 个点 {x(1), . . . , x(m)}，我们希望对这些点进行有损 压缩。有损压缩表示我们使用更少的内存，但损失一些精度去存储这些点。我们希 望损失的精度尽可能少。一种编码这些点的方式是用低维表示。

我们希望找到一个编码函数，根据输入返回编码，f(x) = c;

我们也希望找到一个解码函数，给定编码重构输入，x ≈ g(f(x))。

PCA 由我们选择的解码函数而定。具体地，为了简化解码器，我们使用矩阵乘法将编码映射回，即 g(c) = Dc，其中 D ∈ 是定义解码的矩阵。