【机器学习的数学基础】（五）解析几何(Analytic Geometry)（下）

3 解析几何(Analytic Geometry)（下）

3.8 正交投影

投影是一类重要的线性变换（还有旋转和反射），在图形学、编码理论、统计学和机器学习中都起着重要的作用。在机器学习中，我们经常处理高维的数据，而高维数据通常是难以分析或想象的。而且，高维数据往往具有这样的特性：少数维度包含了大部分信息，而大多数其他维度并不是描述数据关键属性所必需的。

当我们压缩或可视化高维数据时，我们会丢失信息。为了最大限度地减少这种压缩损失，我们最好在数据中找到信息量最大的维度。

正如第一章中所讨论的，数据可以表示为向量，在解析几何中，我们将讨论数据压缩的一些基本工具。更具体地说，我们可以将原始的高维数据投影到一个低维特征空间中，并在这个低维空间中进一步分析数据集并提取相关模式( pattern)。

例如，Pearson（1901）和Hotelling（1933）提出的主成分分析（PCA）和深度神经网络（例如：深度自编码器deep auto encoders（Deng et al.，2010））等机器学习算法就充分地利用了降维思想。

下面，我们将重点讨论正交投影，我们将在第十章降维中使用正交投影进行线性降维，在第十二章分类中使用正交投影进行分类。还有第九章回归中也可以用正交投影来解释。对于给定的低维子空间，高维数据的正交投影能保留原始数据尽可能多的信息并使原始数据和相应投影之间的差异/误差最小化。下面给出正交投影的图示。

图3.9二维数据集（蓝点）到一维子空间（直线）的正交投影（橙色点）。

在我们详细说明如何获得这些投影之前，让我们看看投影是怎么定义的。

定义 3.10 投影

令$V$为一个向量空间，$U\subseteq V$为$V$的一个子空间。如果${\pi }^2=\pi \circ \pi =\pi$，则线性映射$\pi :V\to U$称为投影(projection)。

线性映射可以用变换矩阵来表示，所以上述定义同样适用于一类特殊的变换矩阵，即投影矩阵(projection matrices)${\mathbf{P}}_{\pi }$，它具有${\mathbf{P}}_{\pi }^2={\mathbf{P}}_{\pi }$的属性。

下面，我们将得到内积空间$\left({\mathbb{R}}^n,⟨\cdot ,\cdot ⟩\right)$到子空间的向量正交投影。我们将从一维子空间(也叫做线)开始。如果没有另外提及，我们默认以$⟨\mathbf{x},\mathbf{y}⟩={\mathbf{x}}^{\top }\mathbf{y}$为内积。

3.8.1 一维子空间（线）上的投影

假设我们被给定一条线（一维子空间），它通过原点且基向量为$\mathbf{b}\in {\mathbb{R}}^n$。该线为由$\mathbf{b}$张成的一维子空间$U\subseteq {\mathbb{R}}^n$。当我们将$\mathbf{x}\in {\mathbb{R}}^n$投影到$U$时，我们目的是寻找最接近$\mathbf{x}$的向量${\pi }_U(\mathbf{x})\in U$。利用几何参数，我们来描述投影${\pi }_U(\mathbf{x})$的一些性质（图3.10(a)给出了图解）：
图 3.10 一维子空间投影的例子。

• 投影${\pi }_U(\mathbf{x})$最接近$\mathbf{x}$，其中“最接近”表示它们的距离$\Vert \mathbf{x}-{\pi }_U(\mathbf{x})\Vert$最小。这对应了从${\pi }_U(\mathbf{x})$到$\mathbf{x}$最短的那一段${\pi }_U(\mathbf{x})-\mathbf{x}$，它与$U$正交，也即与$U$的基向量$\mathbf{b}$正交。因为向量之间的角度是通过内积定义的，这意味着正交使得$⟨{\pi }_U(\mathbf{x})-\mathbf{x},\mathbf{b}⟩=0$。
• $\mathbf{x}$在$U$上的投影${\pi }_U(\mathbf{x})$必须是$U$的元素，因此是张成$U$的基向量$\mathbf{b}$的倍数。因此，对于某些$\lambda \in \mathbb{R}$，${\pi }_U(\mathbf{x})=\lambda \mathbf{b}$。$\lambda$是${\pi }_U(\mathbf{x})$相对于$\mathbf{b}$的坐标。

通过以下三个步骤中，我们可以确定坐标$\lambda$、投影${\pi }_U(\mathbf{x})\in U$以及将任意$x\in {\mathbb{R}}^n$映射到$U$上的投影矩阵${\mathbf{P}}_{\pi }$：

1、求坐标$\lambda$。在正交条件下有：
$$⟨\mathbf{x}-{\pi }_U(\mathbf{x}),\mathbf{b}⟩=0\stackrel{{\pi }_U(\mathbf{x})=\lambda \mathbf{b}}{⟺}⟨\mathbf{x}-\lambda \mathbf{b},\mathbf{b}⟩=0$$
我们现在可以利用内积的双线性，得到
$$⟨\mathbf{x},\mathbf{b}⟩-\lambda ⟨\mathbf{b},\mathbf{b}⟩=0⟺\lambda =\frac{⟨\mathbf{x},\mathbf{b}⟩}{⟨\mathbf{b},\mathbf{b}⟩}=\frac{⟨\mathbf{b},\mathbf{x}⟩}{\Vert \mathbf{b}{\Vert }^2}(3.40)$$

在最后一步中，我们利用了内积是对称的这一事实。如果我们选择点积作为$⟨\cdot ,\cdot ⟩$，我们得到
$$\lambda =\frac{{\mathbf{b}}^{\top }\mathbf{x}}{{\mathbf{b}}^{\top }\mathbf{b}}=\frac{{\mathbf{b}}^{\top }\mathbf{x}}{\Vert \mathbf{b}{\Vert }^2}$$
如果$\Vert \mathbf{b}\Vert =1$，我们可以看到投影的坐标$\lambda$由${\mathbf{b}}^{\top }\mathbf{x}$决定。

2、求投影点${\pi }_U(\mathbf{x})\in U$。由于${\pi }_U(\mathbf{x})=\lambda \mathbf{b}$，我们立即由(3.40)的结果得到
$${\pi }_U(\mathbf{x})=\lambda \mathbf{b}=\frac{⟨\mathbf{x},\mathbf{b}⟩}{\Vert \mathbf{b}{\Vert }^2}\mathbf{b}=\frac{{\mathbf{b}}^{\top }\mathbf{x}}{\Vert \mathbf{b}{\Vert }^2}\mathbf{b}(3.42)$$
其中最后一个等式只适用于点积。

我们也可以用定义3.1计算${\pi }_U(\mathbf{x})$的长度
$$\Vert {\pi }_U(\mathbf{x})\Vert =\Vert \lambda \mathbf{b}\Vert =|\lambda |\Vert \mathbf{b}\Vert$$

因此，我们的投影长度是$|\lambda |$乘以$\mathbf{b}$的长度。这也直观地展示了$\lambda$是${\pi }_U(\mathbf{x})$相对于张成$U$的基向量$\mathbf{b}$的坐标。

如果我们使用点积作为内积，由$\cos \omega =\frac{⟨\mathbf{x},\mathbf{y}⟩}{\Vert \mathbf{x}\Vert \Vert \mathbf{y}\Vert }$(3.25)，我们得到
$$\Vert {\pi }_U(\mathbf{x})\Vert \stackrel{(3.42)}{=}\frac{\left|{\mathbf{b}}^{\top }\mathbf{x}\right|}{\Vert \mathbf{b}{\Vert }^2}\Vert \mathbf{b}\Vert \stackrel{(3.25)}{=}|\cos \omega |\Vert \mathbf{x}\Vert \Vert \mathbf{b}\Vert \frac{\Vert \mathbf{b}\Vert }{\Vert \mathbf{b}{\Vert }^2}=|\cos \omega |\Vert \mathbf{x}\Vert$$
这里，$\omega$是$\mathbf{x}$和$\mathbf{b}$之间的夹角。这个方程应该是我们在三角定理中熟悉的：如果$\Vert \mathbf{x}\Vert =1$，那么$\mathbf{x}$位于单位圆上。此时$\mathbf{b}$在横轴上的投影正好是$\cos \omega$，对应向量${\pi }_U(\mathbf{x})=|\cos \omega |$。如图3.10(b)。

3、求投影矩阵${\mathbf{P}}_{\pi }$。我们知道投影是线性映射（定义3.10）。因此，存在一个投影矩阵${\mathbf{P}}_{\pi }$，使得${\pi }_U(\mathbf{x})={\mathbf{P}}_{\pi }\mathbf{x}$。以点积为内积，由
$${\pi }_U(\mathbf{x})=\lambda \mathbf{b}=\mathbf{b}\lambda =\mathbf{b}\frac{{\mathbf{b}}^{\top }\mathbf{x}}{\Vert \mathbf{b}{\Vert }^2}=\frac{\mathbf{b}{\mathbf{b}}^{\top }}{\Vert \mathbf{b}{\Vert }^2}\mathbf{x}(3.46)$$

我们可以得到：
$${\mathbf{P}}_{\pi }=\frac{{\mathbf{b}\mathbf{b}}^{\top }}{\Vert \mathbf{b}{\Vert }^2}$$

注意，$\Vert \mathbf{b}{\Vert }^2=⟨\mathbf{b},\mathbf{b}⟩$是一个标量，$\mathbf{b}{\mathbf{b}}^{\top }$（秩为1）以及投影矩阵${\mathbf{P}}_{\pi }$都是一个对称矩阵。

投影矩阵${\mathbf{P}}_{\pi }$将任意向量$\mathbf{x}\in {\mathbb{R}}^n$投影到通过原点的直线上，方向为$\mathbf{b}$（相当于$\mathbf{b}$所张成的子空间$U$）。

备注：
投影${\pi }_U(\mathbf{x})\in {\mathbb{R}}^n$仍然是$n$维向量而不是标量。我们可以用张成子空间$U$的基向量$\mathbf{b}$来表示投影，这样我们就只需要一个坐标$\lambda$来表示投影，而不再需要$n$个坐标。

例 3.10 投影到直线上

求出投影到$\mathbf{b}={\left[\begin{array}{lll}1& 2& 2\end{array}\right]}^{\top }$所张成的过原点的直线上的投影矩阵${\mathbf{P}}_{\pi }$。$\mathbf{b}$是一维子空间（通过原点的直线）的方向和基。
由(3.46)，我们可以得到：
$${\mathbf{P}}_{\pi }=\frac{{\mathbf{b}\mathbf{b}}^{\top }}{{\mathbf{b}}^{\top }\mathbf{b}}=\frac{1}{9}\left[\begin{array}{l}1\\ 2\\ 2\end{array}\right]\left[\begin{array}{lll}1& 2& 2\end{array}\right]=\frac{1}{9}\left[\begin{array}{lll}1& 2& 2\\ 2& 4& 4\\ 2& 4& 4\end{array}\right]$$

现在让我们选择一个特定的$\mathbf{x}$，看看它是否位于$\mathbf{b}$所张成的子空间中。对于$\mathbf{x}={\left[\begin{array}{lll}1& 1& 1\end{array}\right]}^{\top }$，投影是
$${\pi }_U(\mathbf{x})={\mathbf{P}}_{\pi }\mathbf{x}=\frac{1}{9}\left[\begin{array}{lll}1& 2& 2\\ 2& 4& 4\\ 2& 4& 4\end{array}\right]\left[\begin{array}{l}1\\ 1\\ 1\end{array}\right]=\frac{1}{9}\left[\begin{array}{c}5\\ 10\\ 10\end{array}\right]\in \mathrm{span}\left[\left[\begin{array}{l}1\\ 2\\ 2\end{array}\right]\right]$$
注意，${\mathbf{P}}_{\pi }$应用到${\pi }_U(\mathbf{x})$不会改变任何东西，即${\mathbf{P}}_{\pi }{\pi }_U(\mathbf{x})={\pi }_U(\mathbf{x})$。这是意料之中的，因为根据定义3.10，我们知道对于任何$\mathbf{x}$，投影矩阵${\mathbf{P}}_{\pi }$满足${\mathbf{P}}_{\pi }^2\mathbf{x}={\mathbf{P}}_{\pi }\mathbf{x}$。

备注：
在第四章矩阵分解中，我们将展示${\pi }_U(\mathbf{x})$是${\mathbf{P}}_{\pi }$的特征向量，对应的特征值为1。

3.8.2 一般子空间上的投影

图 3.11 $\mathbf{x}\in {\mathbb{R}}^3$在$U$上的投影${\pi }_U(\mathbf{x})$可以表示为${\mathbf{b}}_1,{\mathbf{b}}_2$的线性组合，位移向量$\mathbf{x}-{\pi }_U(\mathbf{x})$与${\mathbf{b}}_1$和${\mathbf{b}}_2$正交。

在下面，我们研究向量$x\in {\mathbb{R}}^n$到低维子空间$U\subseteq {\mathbb{R}}^n$的正交投影，其中$\dim (U)=m⩾1$。图3.11给出了示意图。

假设$\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_m\right)$是$U$的有序基。$U$上的任何投影${\pi }_U(\mathbf{x})$必然是$U$的元素。因此，它们可以表示为$U$的基向量$\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_m\right)$的线性组合：${\pi }_U(\mathbf{x})={\sum }_{i=1}^m{\lambda }_i{\mathbf{b}}_i$。

与一维的情形一样，我们要用三步来求投影${\pi }_U(\mathbf{x})$和投影矩阵${\mathbf{P}}_{\pi }$：
1、求投影的坐标${\lambda }_1,\dots ,{\lambda }_m$（相对于$U$的基）。使线性组合
$${\pi }_U(\mathbf{x})=\sum _{i=1}^m{\lambda }_i{\mathbf{b}}_i=\mathbf{B}\mathbf{\lambda }$$
$$\mathbf{B}=\left[{\mathbf{b}}_1,\dots ,{\mathbf{b}}_m\right]\in {\mathbb{R}}^{n\times m},\mathbf{\lambda }={\left[{\lambda }_1,\dots ,{\lambda }_m\right]}^{\top }\in {\mathbb{R}}^m$$

离$\mathbf{x}$最近。与一维情形一样，“最近”表示“最小距离”，这意味着连接${\pi }_U(\mathbf{x})\in U$和$\mathbf{x}\in {\mathbb{R}}^n$的向量必须与$U$的所有基向量正交。因此，我们得到$m$个条件（假设内积为点积）
$$\begin{array}{c}⟨{\mathbf{b}}_1,\mathbf{x}-{\pi }_U(\mathbf{x})⟩={\mathbf{b}}_1^{\top }\left(\mathbf{x}-{\pi }_U(\mathbf{x})\right)=0\\ ⋮\\ ⟨{\mathbf{b}}_m,\mathbf{x}-{\pi }_U(\mathbf{x})⟩={\mathbf{b}}_m^{\top }\left(\mathbf{x}-{\pi }_U(\mathbf{x})\right)=0\end{array}$$

再由${\pi }_U(\mathbf{x})=\mathbf{B}\mathbf{\lambda }$，得到：
$$\begin{array}{rl}& {\mathbf{b}}_1^{\top }(\mathbf{x}-\mathbf{B}\mathbf{\lambda })=0\\ & \text{ : }\\ & {\mathbf{b}}_m^{\top }(\mathbf{x}-\mathbf{B}\mathbf{\lambda })=0\end{array}$$

从而得到一个齐次线性方程组：

$$\left[\begin{array}{c}{\mathbf{b}}_1^{\top }\\ ⋮\\ {\mathbf{b}}_m^{\top }\end{array}\right][\mathbf{x}-\mathbf{B}\mathbf{\lambda }]=0⟺{\mathbf{B}}^{\top }(\mathbf{x}-\mathbf{B}\mathbf{\lambda })=0$$
$$⟺{\mathbf{B}}^{\top }\mathbf{B}\mathbf{\lambda }={\mathbf{B}}^{\top }\mathbf{x}$$

最后一个表达式叫做正规方程(normal equation)。因为${\mathbf{b}}_1,\dots ,{\mathbf{b}}_m$是$U$的基，它们是线性独立的。因此，${\mathbf{B}}^{\top }\mathbf{B}\in {\mathbb{R}}^{m\times m}$是正则的，是可逆的。这使我们能够求解得到系数/坐标：
$$\mathbf{\lambda }={\left({\mathbf{B}}^{\top }\mathbf{B}\right)}^{-1}{\mathbf{B}}^{\top }\mathbf{x}(3.57)$$

矩阵${\left({\mathbf{B}}^{\top }\mathbf{B}\right)}^{-1}{\mathbf{B}}^{\top }$称为$\mathbf{B}$的伪逆(pseudo-inverse)，适用于非方阵的$\mathbf{B}$。仅需${\mathbf{B}}^{\top }\mathbf{B}$是正定的，也就是说$\mathbf{B}$是满秩的。在实际应用中（如线性回归），我们经常在${\mathbf{B}}^{\top }\mathbf{B}$中加入一个“抖动项”$ϵ\mathbf{I}$，以保证数值稳定性和正定性增加。

2、求投影${\pi }_U(\mathbf{x})\in U$，我们已经推断出${\pi }_U(\mathbf{x})=\mathbf{B}\mathbf{\lambda }$，则由(3.57)的结果，得到：
$${\pi }_U(\mathbf{x})=\mathbf{B}{\left({\mathbf{B}}^{\top }\mathbf{B}\right)}^{-1}{\mathbf{B}}^{\top }\mathbf{x}(3.58)$$
3、 求投影矩阵${\mathbf{P}}_{\pi }$。根据(3.58)，我们可以立即看到，求解${\mathbf{P}}_{\pi }\mathbf{x}={\pi }_U(\mathbf{x})$的投影矩阵是
$${\mathbf{P}}_{\pi }=\mathbf{B}{\left({\mathbf{B}}^{\top }\mathbf{B}\right)}^{-1}{\mathbf{B}}^{\top }$$

备注：

投影到一般子空间有一维这一特例：如果$\dim (U)=1$，则${\mathbf{B}}^{\top }\mathbf{B}\in \mathbb{R}$是标量，我们可以将一般子空间的投影矩阵${\mathbf{P}}_{\pi }=\mathbf{B}{\left({\mathbf{B}}^{\top }\mathbf{B}\right)}^{-1}{\mathbf{B}}^{\top }$重写为${\mathbf{P}}_{\pi }=\frac{B{B}^{\top }}{B^{\top }B}$，这正是一维子空间的投影矩阵。

例 3.11 二维子空间上的投影

对于子空间$U=\mathrm{span}[\left[\begin{array}{l}1\\ 1\\ 1\end{array}\right],\left[\begin{array}{l}0\\ 1\\ 2\end{array}\right]]\subseteq {\mathbb{R}}^3$和$\mathbf{x}=\left[\begin{array}{l}6\\ 0\\ 0\end{array}\right]\in {\mathbb{R}}^3$，求$\mathbf{x}$相对于子空间$U$的坐标$\lambda$、投影点${\pi }_U(\mathbf{x})$和投影矩阵${\mathbf{P}}_{\pi }$。
首先，我们看到$U$的生成集是一个基（线性无关），将$U$的基向量写入矩阵可以得到：
$$\mathbf{B}=\left[\begin{array}{ll}1& 0\\ 1& 1\\ 1& 2\end{array}\right]$$

第二，我们计算矩阵${\mathbf{B}}^{\top }\mathbf{B}$和${\mathbf{B}}^{\top }\mathbf{x}$：
$${\mathbf{B}}^{\top }\mathbf{B}=\left[\begin{array}{lll}1& 1& 1\\ 0& 1& 2\end{array}\right]\left[\begin{array}{ll}1& 0\\ 1& 1\\ 1& 2\end{array}\right]=\left[\begin{array}{ll}3& 3\\ 3& 5\end{array}\right],{\mathbf{B}}^{\top }\mathbf{x}=\left[\begin{array}{lll}1& 1& 1\\ 0& 1& 2\end{array}\right]\left[\begin{array}{l}6\\ 0\\ 0\end{array}\right]=\left[\begin{array}{l}6\\ 0\end{array}\right]$$

第三，我们通过正规方程${\mathbf{B}}^{\top }\mathbf{B}\mathbf{\lambda }={\mathbf{B}}^{\top }\mathbf{x}$求解$\lambda$
$$\left[\begin{array}{ll}3& 3\\ 3& 5\end{array}\right]\left[\begin{array}{l}{\lambda }_1\\ {\lambda }_2\end{array}\right]=\left[\begin{array}{l}6\\ 0\end{array}\right]⟺\mathbf{\lambda }=\left[\begin{array}{c}5\\ -3\end{array}\right]$$

第四，$\mathbf{x}$向$U$的投影${\pi }_U(\mathbf{x})$，即到$\mathbf{B}$的列空间的投影，可以通过直接计算得到：
$${\pi }_U(\mathbf{x})=\mathbf{B}\mathbf{\lambda }=\left[\begin{array}{c}5\\ 2\\ -1\end{array}\right]$$

相应的投影误差(projection error，也称为reconstruction error)是原始向量与其在$U$上的投影之差的范数，即：

$$\Vert \mathbf{x}-{\pi }_U(\mathbf{x})\Vert =\Vert {\left[\begin{array}{lll}1& -2& 1\end{array}\right]}^{\top }\Vert =\sqrt{6}(3.63)$$

第五，对于任意$\mathbf{x}\in {\mathbb{R}}^3$，投影矩阵为：
$${\mathbf{P}}_{\pi }=\mathbf{B}{\left({\mathbf{B}}^{\top }\mathbf{B}\right)}^{-1}{\mathbf{B}}^{\top }=\frac{1}{6}\left[\begin{array}{ccc}5& 2& -1\\ 2& 2& 2\\ -1& 2& 5\end{array}\right]$$

为了验证结果，我们可以
（a）检查位移向量${\pi }_U(\mathbf{x})-\mathbf{x}$是否与$U$的所有基向量正交，
（b）验证${\mathbf{P}}_{\pi }={\mathbf{P}}_{\pi }^2$（见定义3.10）。

备注：

投影${\pi }_U(\mathbf{x})$虽然位于$m$维子空间$U\subseteq {\mathbb{R}}^n$中，但仍然是${\mathbb{R}}^n$中的向量。然而，为了表示投影向量，我们只需要关于$U$的基向量${\mathbf{b}}_1,\dots ,{\mathbf{b}}_m$的$m$坐标${\lambda }_1,\dots ,{\lambda }_m$。

备注：

在具有一般内积的向量空间中，计算用内积定义的角和距离在计算时必须注意内积的类型。

通过投影，我们可以近似求解无解的线性方程组$\mathbf{A}\mathbf{x}=\mathbf{b}$。线性方程组无解，意味着$\mathbf{b}$不在$\mathbf{A}$的张成空间中，也就是说，向量$\mathbf{b}$不在$\mathbf{A}$的列所张成的子空间内。如果线性方程不能精确求解，那么我们可以尝试找到一个近似解(approximate solution)。其思想是在$\mathbf{A}$的列所张成的子空间中找到最接近$\mathbf{b}$的向量，即计算$\mathbf{b}$在$\mathbf{A}$的列所张成的子空间上的正交投影。这类问题在实践中经常出现，这个解叫做超定系统的最小二乘解(least-squares solution)（假设点积为内积）。这将在9.4节线性回归中进一步讨论。使用重建误差(3.63)是一种推导主成分分析(降维10.3节)的可行的方法。

备注：

我们已经得到了向量$\mathbf{x}$在基向量$\left\{{\mathbf{b}}_1,\dots ,{\mathbf{b}}_k\right\}$的投影。如果这个基是标准正交基(orthonormal basis ONB)，即有${\mathbf{B}}^{\top }\mathbf{B}=\mathbf{I}$，那么坐标可以简化为$\mathbf{\lambda }={\mathbf{B}}^{\top }\mathbf{x}$，投影方程也简化为
$${\pi }_U(\mathbf{x})=\mathbf{B}{\mathbf{B}}^{\top }\mathbf{x}$$

这意味着我们不需要计算逆，这节省了计算时间。

3.8.3 Gram-Schmidt正交化

投影是Gram-Schmidt方法的核心，它允许我们将$n$维向量空间$V$的任何基$\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right)$转换为$V$的正交/正交基$\left({\mathbf{u}}_1,\dots ,{\mathbf{u}}_n\right)$。这个基总是存在的（Liesen和Mehrmann，2015）且$\mathrm{span}\left[{\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right]=\mathrm{span}\left[{\mathbf{u}}_1,\dots ,{\mathbf{u}}_n\right]$。Gram-Schmidt正交化方法能从任意基$\left({\mathbf{b}}_1,\dots ,{\mathbf{b}}_n\right)$迭代构造正交基$\left({\mathbf{u}}_1,\dots ,{\mathbf{u}}_n\right)$：
$${\mathbf{u}}_1:={\mathbf{b}}_1$$
$${\mathbf{u}}_k:={\mathbf{b}}_k-{\pi }_{\mathrm{span}\left[{\mathbf{u}}_1,\dots ,{\mathbf{u}}_{k-1}\right]}\left({\mathbf{b}}_k\right),k=2,\dots ,n$$
在第二个公式中，第$k$个基向量${\mathbf{b}}_k$被投影到由前$k-1$个构造的正交向量${\mathbf{u}}_1,\dots ,{\mathbf{u}}_{k-1}$（见8.2）张成的子空间。然后用${\mathbf{b}}_k$减去该投影，从而产生一个向量${\mathbf{u}}_k$，该向量与由${\mathbf{u}}_1,\dots ,{\mathbf{u}}_{k-1}$张成的$k-1$维子空间正交。对所有$n$个基向量${\mathbf{b}}_1,\dots ,{\mathbf{b}}_n$重复此过程，从而产生正交基$\left({\mathbf{u}}_1,\dots ,{\mathbf{u}}_n\right)$。如果我们再将${\mathbf{u}}_k$标准化，我们得到一个标准正交基(ONB)，其中$\Vert {\mathbf{u}}_k\Vert =1$,$k=1,\dots ,n$。

图 3.12Gram-Schmidt正交化。（a） ${\mathbb{R}}^2$的非正交基$({\mathbf{b}}_1,{\mathbf{b}}_2)$；（b）首先构造基向量${\mathbf{u}}_1$和${\mathbf{b}}_2$在$\text{span}[{\mathbf{u}}_1]$上的正交投影；（c）${\mathbb{R}}^2$的正交基$({\mathbf{u}}_1，{\mathbf{u}}_2)$

例 3.12 Gram-Schmidt 正交化

考虑${\mathbb{R}}^2$的一个基$\left({\mathbf{b}}_1,{\mathbf{b}}_2\right)$(见图3.12(a))：
$${\mathbf{b}}_1=\left[\begin{array}{l}2\\ 0\end{array}\right],{\mathbf{b}}_2=\left[\begin{array}{l}1\\ 1\end{array}\right]$$

使用Gram-Schmidt 正交化，我们构造${\mathbb{R}}^2$的一个正交基：$\left({\mathbf{u}}_1,{\mathbf{u}}_2\right)$如下(假设内积为点积)：
$${\mathbf{u}}_1:={\mathbf{b}}_1=\left[\begin{array}{l}2\\ 0\end{array}\right]$$
$${\mathbf{u}}_2:={\mathbf{b}}_2-{\pi }_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{n}\left[{\mathbf{u}}_1\right]}\left({\mathbf{b}}_2\right)={\mathbf{b}}_2-\frac{{\mathbf{u}}_1{\mathbf{u}}_1^{\top }}{{\Vert {\mathbf{u}}_1\Vert }^2}{\mathbf{b}}_2=\left[\begin{array}{l}1\\ 1\end{array}\right]-\left[\begin{array}{ll}1& 0\\ 0& 0\end{array}\right]\left[\begin{array}{l}1\\ 1\end{array}\right]=\left[\begin{array}{l}0\\ 1\end{array}\right]$$

这些步骤如图3.12(b)和(c )所示，我们可以看到${\mathbf{u}}_1，{\mathbf{u}}_2$是正交的，即${\mathbf{u}}_1^{\top }{\mathbf{u}}_2=0$

图 3.13仿射空间上的投影。（a） 原始设定；（b）将设定的各个对象移动$-{\mathbf{x}}_0$，以便$\mathbf{x}-{\mathbf{x}}_0$可以投影到方向空间$U$上；（c）复原投影${\mathbf{x}}_0+{\pi }_U\left(\mathbf{x}-{\mathbf{x}}_0\right)$，从而得到最终正交投影${\pi }_L(\mathbf{x})$。

3.8.4 仿射子空间上的投影

到目前为止，我们讨论了如何将向量投影到低维子空间$U$上。下面，我们将提供了一个将向量投影到仿射子空间的解决方案。

考虑图3.13(a)中的设定。现给出仿射空间$L={\mathbf{x}}_0+U$，其中${\mathbf{b}}_1,{\mathbf{b}}_2$是$U$的基向量。为了确定$\mathbf{x}$在$L$上的正交投影${\pi }_L(\mathbf{x})$，我们把这个问题转化为一个我们知道如何解决的问题：在向量子空间上的投影。为了达到这个目的，我们将$\mathbf{x}$和$L$减去支撑点${\mathbf{x}}_0$，这样$L-{\mathbf{x}}_0=U$就变成向量子空间$U$了。然后使用第3.8.2节中讨论的子空间上的正交投影，得到投影${\pi }_U\left(\mathbf{x}-{\mathbf{x}}_0\right)$，如图3.13(b)所示。

这个投影现在可以通过加${\mathbf{x}}_0$转换回$L$，这样我们就得到了仿射空间$L$上的正交投影
$${\pi }_L(\mathbf{x})={\mathbf{x}}_0+{\pi }_U\left(\mathbf{x}-{\mathbf{x}}_0\right)$$
其中${\pi }_U(\cdot )$是在子空间$U$上的正交投影，即$L$的方向空间；见图3.13 (c )。

从图3.13还可以明显看出，$\mathbf{x}$到仿射空间$L$的距离与$\mathbf{x}-{\mathbf{x}}_0$到$U$的距离相同，即：
$$\begin{array}{rl}d(\mathbf{x},L)& =\Vert \mathbf{x}-{\pi }_L(\mathbf{x})\Vert =\Vert \mathbf{x}-\left({\mathbf{x}}_0+{\pi }_U\left(\mathbf{x}-{\mathbf{x}}_0\right)\right)\Vert \\ & =d\left(\mathbf{x}-{\mathbf{x}}_0,{\pi }_U\left(\mathbf{x}-{\mathbf{x}}_0\right)\right)=d\left(\mathbf{x}-{\mathbf{x}}_0,U\right)\end{array}$$

在12.1节分类中，我们将使用仿射子空间上的投影引出分离超平面的概念。

图 3.14 旋转使物体绕平面内的一个原点旋转。如果旋转角度是正的，我们就逆时针旋转

图 3.15机械臂需要旋转关节来拾取或正确放置物体。图片来源于（Deisenroth等人，2015）。

3.9 旋转

3.4节所讨论的长度和角度保持不变，是正交变换矩阵的线性映射的两个特征。在下面，我们将仔细研究描述旋转的特定的正交变换矩阵。

旋转(rotation)是一种线性映射（更具体地说，是欧氏向量空间的自同构），它将平面绕原点旋转$\theta$角，即原点是一个不动点。对于$\theta >0$，按照惯例，我们采取逆时针旋转。图3.14对应的转换矩阵是：
$$\mathbf{R}=\left[\begin{array}{cc}-0.38& -0.92\\ 0.92& -0.38\end{array}\right]$$

旋转的重要应用领域包括计算机图形学和机器人学。例如，在机器人学中，需要知道如何旋转机械臂的关节以拾取或放置物体，如图3.15。

图 3.16 ${\mathbb{R}}^2$中的标准基旋转$\theta$

3.9.1 ${\mathbb{R}}^2$中的旋转

考虑${\mathbb{R}}^2$的标准基$\left\{e_1=\left[\begin{array}{l}1\\ 0\end{array}\right],{\mathbf{e}}_2=\left[\begin{array}{l}0\\ 1\end{array}\right]\right\}$，它定义了${\mathbb{R}}^2$的标准坐标系。我们的目标是将这个坐标系旋转$\theta$角，如图3.16所示。注意，旋转后向量仍然是线性独立的，因此是${\mathbb{R}}^2$的基。 这意味着旋转将执行基变换。

旋转$\Phi$是线性映射，因此我们可以用旋转矩阵(rotation matrix)$\mathbf{R}(\theta )$来表示它们。三角关系(见3.16)允许我们确定被旋转的坐标轴（$\Phi$的像）相对于${\mathbb{R}}^2$中标准基的坐标。我们获得
$$\Phi \left({\mathbf{e}}_1\right)=\left[\begin{array}{c}\cos \theta \\ \sin \theta \end{array}\right],\Phi \left({\mathbf{e}}_2\right)=\left[\begin{array}{c}-\sin \theta \\ \cos \theta \end{array}\right]$$
因此，将基变换为旋转坐标的旋转矩阵$\mathbf{R}(\theta )$为：
$$\mathbf{R}(\theta )=[\begin{array}{ll}\Phi \left({\mathbf{e}}_1\right)& \Phi \left({\mathbf{e}}_2\right)]\end{array}=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$$

3.9.2 ${\mathbb{R}}^3中$的旋转

与${\mathbb{R}}^2$不同的是，在${\mathbb{R}}^3$中，我们可以围绕其中一维的轴旋转任何二维平面。确定通用旋转矩阵的最简单方法是确定标准基$e_1,e_2,e_3$旋转得到的像，并确保这些像${\mathbf{R}\mathbf{e}}_1,{\mathbf{R}\mathbf{e}}_2,\mathbf{R}{\mathbf{e}}_3$彼此正交。然后，我们可以通过组合标准基的像得到一个通用的旋转矩阵$\mathbf{R}$。

为了得到一个有意义的旋转角度，我们必须定义在两个以上的维度上操作时“逆时针”的含义。按照惯例，绕轴的“逆时针”（平面）旋转的情形是旋转轴“头朝上“，我们从它的尖端看向原点。在${\mathbb{R}}^3$中，围绕三个标准基向量有三个（平面）旋转，如图3.17。

图 3.17${\mathbb{R}}^3$中的向量(灰色)绕$e_3$轴旋转一个角$\theta$。旋转后的向量用蓝色表示。

• 绕$e_1$轴旋转：
  $${\mathbf{R}}_1(\theta )=\left[\begin{array}{lll}\Phi \left({\mathbf{e}}_1\right)& \Phi \left({\mathbf{e}}_2\right)& \Phi \left({\mathbf{e}}_3\right)\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \theta & -\sin \theta \\ 0& \sin \theta & \cos \theta \end{array}\right]$$
  这里，${\mathbf{e}}_1$坐标是固定的，然后对${\mathbf{e}}_2{\mathbf{e}}_3$平面中执行逆时针旋转。

• 绕$e_2$轴旋转：
  $${\mathbf{R}}_2(\theta )=\left[\begin{array}{ccc}\cos \theta & 0& \sin \theta \\ 0& 1& 0\\ -\sin \theta & 0& \cos \theta \end{array}\right]$$
  如果我们围绕$e_2$轴旋转$e_1{e}_3$平面，我们需要从$e_2$轴的“尖端”看向原点。

• 绕$e_3$轴旋转：
  $${\mathbf{R}}_3(\theta )=\left[\begin{array}{ccc}\cos \theta & -\sin \theta & 0\\ \sin \theta & \cos \theta & 0\\ 0& 0& 1\end{array}\right]$$
  如图
  

3.9.3 ${\mathbb{R}}^n$中的旋转

从二维和三维推广到$n$维的欧氏向量空间的旋转可以直观地描述为固定其$n-2$维，旋转$n$维空间中的二维平面。就像在三维情况下，我们可以旋转任意平面（${\mathbb{R}}^n$的二维子空间）。

定义 3.11 Givens旋转(Givens Rotation)

设$V$是$n$维欧氏向量空间，对于$1⩽i<j⩽n\text{ and }\theta \in \mathbb{R}$，自同构$\Phi :V\to V$具有变换矩阵：
$${\mathbf{R}}_{ij}(\theta ):=\left[\begin{array}{ccccc}{\mathbf{I}}_{i-1}& 0& \cdots & \cdots & 0\\ 0& \cos \theta & 0& -\sin \theta & 0\\ 0& 0& {\mathbf{I}}_{j-i-1}& 0& 0\\ 0& \sin \theta & 0& \cos \theta & 0\\ 0& \cdots & \cdots & 0& {\mathbf{I}}_{n-j}\end{array}\right]\in {\mathbb{R}}^{n\times n}$$
${\mathbf{R}}_{ij}(\theta )$称为Givens旋转(Givens Rotation)。可以看到，${\mathbf{R}}_{ij}(\theta )$是由一个单位矩阵${\mathbf{I}}_n$作以下改变：
$$r_{ii}=\cos \theta ,r_{ij}=-\sin \theta ,r_{ji}=\sin \theta ,r_{jj}=\cos \theta$$

对于二维（即$n=2$），我们可以得到：
$$\mathbf{R}(\theta )=\left[\Phi \left({\mathbf{e}}_1\right)\Phi \left({\mathbf{e}}_2\right)\right]=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$$
这一特例。

3.9.4 旋转的性质

旋转表现出许多有用的性质，这些性质可以通过将它们视为正交矩阵来说明（定义3.8）：

• 旋转保持距离，即$\Vert \mathbf{x}-\mathbf{y}\Vert =\Vert {\mathbf{R}}_{\theta }(\mathbf{x})-{\mathbf{R}}_{\theta }(\mathbf{y})\Vert$。换句话说，任意两点旋转变换之后，它们之间的距离保持不变。
• 旋转保持角度，即${\mathbf{R}}_{\theta }\mathbf{x}$和${\mathbf{R}}_{\theta }\mathbf{y}$之间的角度与$\mathbf{x}$和$\mathbf{y}$之间的相同。
• 三维（或更多）的旋转通常是不可交换顺序的。因此，应用旋转的顺序是很重要的，即使它们围绕同一点旋转。在二维空间中，向量旋转是可交换的，即对于所有$\varphi ,\theta \in [0,2\pi )$，$\mathbf{R}(\varphi )\mathbf{R}(\theta )=\mathbf{R}(\theta )\mathbf{R}(\varphi )$。只有当它们围绕同一点（例如原点）旋转时，它们才会形成一个阿贝尔群（关于乘法的）。

翻译自：
《MATHEMATICS FOR MACHINE LEARNING》作者是 Marc Peter Deisenroth，A Aldo Faisal 和 Cheng Soon Ong

公众号后台回复【m4ml】即可获取这本书。

另外，机器学习的数学基础.pdf