主成分分析实例，常用矩阵范数，最小二乘求解

主成分分析实例

假设在 ${\mathbb{R}}^n$ 空间中有m个点$\{x^{(1)},\cdots x^{(m)}\}$ , 我们希望对这些点进行有损压缩。编码这些点的一种方式就是使用低维表示。编码函数， 根据输入返回编码 $f(x)=c$ 我们也希望找到一个解码函数，给定编码重构输入 ,$x\approx g(f(x))$.

PCA 由我们选择的解码函数而定。 我们使用矩阵乘法将编码映射回 ${\mathbb{R}}^n$ , 即 $g(c)=Dc$ , 其中 $D\in {\mathbb{R}}^{n\times l}$ 是定义解码矩阵。为了使问题有唯一解， 我们限制 $D$ 中的所有列向量都有单位范数。PCA限制 $D$的列向量彼此正交

为了将这个基本想法变为我们能够实现的算法，首先我们需要明确如何根据每一个输入 $x$ 得到一个最优编码$c^{\ast }$ 。一个方法是最小化原始输入向量 x 和重构向量 $g(c^{\ast })$ 之间的距离。 我们使用范数来衡量它们间的距离。

使用 $L^2$ 范数
$$c^{\ast }=ar{g}_{c}min||x-g(c)|{|}_2$$
可以用平方 $L^2$ 代替范数$L^2$ ，然后进行相关推导。
$$c^{\ast }=ar{g}_{c}min||x-g(c)|{|}_2^2$$
由向量点积可以得出 $g(c{)}^{T}x=x^{T}g(c)$
$$||x-g(c)|{|}_2^2=(x-g(c){)}^T(x-g(c))=x^{T}x-2x^{T}g(c)+g(c{)}^{T}g(c)$$
由于求最优参数$c^{\ast }$ 使得 $||x-g(c)|{|}_2^2$ 最小 所以 与$x^{T}x$ 无关。并且把 $g(c)=Dc$ 进行带入得到
$$c^{\ast }=ar{g}_{c}min-2x^{T}Dc+c^T{D}^{T}Dc$$
由于$D$ 的正交性和单位范数约束 $D^T\cdot D=I$，原式子简化为
$$c^{\ast }=ar{g}_{c}min-2x^{T}Dc+c^{T}c$$
由于凸函数在一阶导数上取得极小值，原式子对$c$ 求导 = 0 即可。
$${▽}_c(-2x^{T}Dc+c^{T}c)=0$$
由于 $\nabla ({\mathbf{a}}^T\mathbf{x})=\nabla ({\mathbf{x}}^T\mathbf{a})=\mathbf{a}$ 可以得到 $\nabla ({({\mathbf{D}}^{\mathbf{T}}\mathbf{x})}^T\mathbf{c})={\mathbf{D}}^{\mathbf{T}}\mathbf{x}$

由 $\nabla ({\mathbf{x}}^T\mathbf{x})=2\mathbf{x}$ 得到 $\nabla ({\mathbf{c}}^T\mathbf{c})=2\mathbf{c}$

原式化简得到 $\mathbf{c}={\mathbf{D}}^{\mathbf{T}}\mathbf{x}$

这样最优编码 x 只需要一个矩阵 - 向量乘法操作就可以了。 把 c 带入 得到 $f(x)$,并且定义 PCA 重构操作 $r(x)$
$$f(x)={\mathbf{D}}^{\mathbf{T}}\mathbf{x}r(x)=g(f(x))=\mathbf{D}{\mathbf{D}}^{\mathbf{T}}\mathbf{x}$$
下面需要挑选编码矩阵 $D$ 。回顾最小化输入和重构之间 $L^2$ 距离。 因为是使用相同矩阵 $D$对所有点进行解码，不能再孤立地看待每个点。相反，必须最小化所有维数和所有点上的误差矩阵的 Frobenius 范数。
$${\mathbf{D}}^{\ast }=\mathrm{a}\mathrm{r}{\mathrm{g}}_{\mathrm{D}}\mathrm{m}\mathrm{i}\mathrm{n}\sqrt{\sum _{i,j}(x_j^i-r(x^{(i)}{)}_j{)}^2}subjectto{D}^{T}D=I_l$$

考虑 $l=1$ 。 我们写成矩阵形式，记为 $X\in R^{m\times n}$, 其中 $X_{i,:}=x^{(i{)}^T}$
$$\begin{gathered} {\mathbf{d}}^{\ast }=\mathrm{a}\mathrm{r}{\mathrm{g}}_{\mathrm{d}}\mathrm{m}\mathrm{i}\mathrm{n}{\Vert X-Xd{d}^T\Vert }_F^{2}subjectto{d}^{T}d=1 \\ =\mathrm{a}\mathrm{r}{\mathrm{g}}_{\mathrm{d}}\mathrm{m}\mathrm{i}\mathrm{n}Tr((X-Xd{d}^T{)}^T(X-Xd{d}^T)) \\ =\mathrm{a}\mathrm{r}{\mathrm{g}}_{\mathrm{d}}\mathrm{m}\mathrm{i}\mathrm{n}Tr(X^{T}X-X^{T}Xd{d}^T-d{d}^T{X}^{T}X+d{d}^T{X}^{T}Xd{d}^T) \end{gathered}$$
去除不相关的项，并且合并相同的项 ，按照循环改变迹运算中相乘矩阵顺序不影响结果，所以 $Tr(X^{T}Xd{d}^T)=Tr(d{d}^T{X}^{T}X)$
$$\begin{gathered} =\mathrm{a}\mathrm{r}{\mathrm{g}}_{\mathrm{d}}\mathrm{m}\mathrm{i}\mathrm{n}-2Tr(X^{T}Xd{d}^T)+Tr(d{d}^T{X}^{T}Xd{d}^T) \\ =\mathrm{a}\mathrm{r}{\mathrm{g}}_{\mathrm{d}}\mathrm{m}\mathrm{i}\mathrm{n}-2Tr(X^{T}Xd{d}^T)+Tr(X^{T}Xd{d}^{T}d{d}^T) \end{gathered}$$
增加限制条件 并且最小化- c 等于 最大化 c,原等式变为
$$\begin{gathered} =\mathrm{a}\mathrm{r}{\mathrm{g}}_{\mathrm{d}}\mathrm{m}\mathrm{i}\mathrm{n}-2Tr(X^{T}Xd{d}^T)+Tr(X^{T}Xd{d}^T)subjectto{d}^{T}d=1 \\ =\mathrm{a}\mathrm{r}{\mathrm{g}}_{\mathrm{d}}\mathrm{m}\mathrm{i}\mathrm{n}-Tr(X^{T}Xd{d}^T)subjectto{d}^{T}d=1 \\ =\mathrm{a}\mathrm{r}{\mathrm{g}}_{\mathrm{d}}\mathrm{m}\mathrm{a}\mathrm{x}Tr(X^{T}Xd{d}^T)subjectto{d}^{T}d=1 \\ =\mathrm{a}\mathrm{r}{\mathrm{g}}_{\mathrm{d}}\mathrm{m}\mathrm{a}\mathrm{x}Tr(d^T{X}^{T}Xd)subjectto{d}^{T}d=1 \end{gathered}$$
因为 d 的维度 是 $n\ast 1$ X 的维度是 $m\ast n$ 。 我们可以得出 $d^T{X}^{T}Xd$ 的维度是 $1\ast n\times n\ast m\times m\ast n\times n\ast 1=1\ast 1$ 是一个数。 所以 $Tr(c)=c$

我们可以把原问题转化为
$$\begin{gathered} \mathrm{a}\mathrm{r}{\mathrm{g}}_{\mathrm{d}}\mathrm{m}\mathrm{a}\mathrm{x}{d}^T{X}^{T}Xdsubjectto{d}^{T}d=1 \\ =\mathrm{a}\mathrm{r}{\mathrm{g}}_{\mathrm{d}}\mathrm{m}\mathrm{i}\mathrm{n}-d^T{X}^{T}Xdsubjectto{d}^{T}d=1 \end{gathered}$$
由于 $X^{T}X$ 是实对称矩阵，令 $A=X^{T}X$,$f(d)=-d^{T}Ad$ ,限制条件 ${\Vert d\Vert }_2=1$ 通过2.7中的定理可得，当 x 等于 $A$ 的某个特征向量时， $f$ 将返回对应的特征值。 在限制条件下， 函数$f$ 的最大值是最大特征值，最小值是最小特征值。所以 通过特征分解来求解可得，最优的$d$ 是$X^{T}X$ 最大特征值对应的特征向量。

证明如下：
$$\begin{gathered} L(d)=-d^T{X}^{T}Xd+\lambda (d^{T}d-1) \\ {\nabla }_{d}L(d)=-2X^{T}Xd+2\lambda d=0 \\ \lambda d=X^{T}Xd \end{gathered}$$
d 是 $X^{T}X$ 最小特征值对应的特征向量 ,$\lambda$ 为其特征值

矩阵的范数

首先假设矩阵的大小为m∗n，即m行n列。

1-范数，又名列和范数。矩阵列向量中绝对值之和的最大值。$||A|{|}_1={\max }_j{\sum }_{i=1}^m|a_{ij}|$

2-范数，又名谱范数，计算方法为$A^{T}A$矩阵的最大特征值的开平方。 $||A|{|}_2=\sqrt{{\lambda }_1}$ .其中${\lambda }_1$为$A^{T}A$的最大特征值。

$\infty$ -范数，又名行和范数。矩阵行向量中绝对值之和的最大值。 $||A|{|}_{\infty }={\max }_j{\sum }_{i=1}^n|a_{ij}|$

F-范数，Frobenius范数，计算方式为矩阵元素的绝对值的平方和再开方。 $||A|{|}_F={\left({\sum }_{i=1}^m{\sum }_{j=1}^n|a_{ij}{|}^2\right)}^{\frac{1}{2}}$

最小二乘求解

线性方程组 $A\mathbf{x}=\mathbf{b}$ 的最小二乘解

• 即求解 ${\text{argmin}}_{\mathbf{x}}\frac{1}{2}||A\mathbf{x}-\mathbf{b}|{|}_2^2$

• 使用线性变换的求导公式 ：

• $$\begin{gathered} {\nabla }_{\mathbf{x}}\frac{1}{2}||A\mathbf{x}-\mathbf{b}|{|}_2^2 \\ =\frac{1}{2}{A}^T{\nabla }_{A\mathbf{x}-\mathbf{b}}||A\mathbf{x}-\mathbf{b}|{|}_2^2 \\ =\frac{1}{2}{A}^T(2(A\mathbf{x}-\mathbf{b})) \\ =A^T(A\mathbf{x}-\mathbf{b}) \end{gathered}$$

• 令导数等于零，再给方程两边同时左乘 $(A^{T}A{)}^{-1}$，移项即得：$\mathbf{x}=(A^{T}A{)}^{-1}{A}^T\mathbf{b}$

  • 这里假定方程组是超定的，即 $A$ 列满秩且行数大于列数，因此上述逆矩阵存在
  • 补：如果方程组欠定但是是一致的，那么 ${\mathbf{x}}^{\ast }=A^{†}\mathbf{b}$ 是方程 $A\mathbf{x}=\mathbf{b}$ 的二范数最小的解，其中 $A^{†}$ 是矩阵 $A$ 的 Moore–Penrose 广义逆。