线性代数的本质(八)——内积空间

内积空间

内积空间

三维几何空间是线性空间的一个重要例子，如果分析一下三维几何空间，我们就会发现它还具有一般线性空间不具备的重要性质：三维几何空间中向量有长度和夹角，这称为三维几何空间的度量性质。现在，我们在一般线性空间中引入度量有关的概念。

我们知道三维几何空间中向量的长度和夹角可由向量的内积来决定。内积就是一个函数，它把向量对$\mathbf{u},\mathbf{v}$ 映射成一个数。在向量空间 $V$ 中，将内积运算记为 $⟨\mathbf{u},\mathbf{v}⟩$，满足以下性质

1. $⟨\mathbf{u},\mathbf{v}⟩=⟨\mathbf{v},\mathbf{u}⟩$
2. $⟨\mathbf{u},\mathbf{v}+\mathbf{w}⟩=⟨\mathbf{u},\mathbf{v}⟩+⟨\mathbf{u},\mathbf{w}⟩$
3. $c⟨\mathbf{u},\mathbf{v}⟩=⟨c\mathbf{u},\mathbf{v}⟩=⟨\mathbf{u},c\mathbf{v}⟩$
4. $⟨\mathbf{v},\mathbf{v}⟩⩾0,⟨\mathbf{v},\mathbf{v}⟩=0\text{ iff }\mathbf{v}=0$

定义了内积运算的向量空间称为内积空间(innerproductspace)。

注意，内积只给出了性质，而没给出具体的计算法则。

对于向量空间 $V$ 中的任意两向量
$$\begin{gathered} \mathbf{u}=u_1{\mathbf{e}}_1+\cdots +u_n{\mathbf{e}}_n \\ \mathbf{v}=v_1{\mathbf{e}}_1+\cdots +v_n{\mathbf{e}}_n \end{gathered}$$
由内积的基本性质知道，其内积
$$⟨\mathbf{u},\mathbf{v}⟩=⟨u_1{\mathbf{e}}_1+\cdots +u_n{\mathbf{e}}_n,v_1{\mathbf{e}}_1+\cdots +v_n{\mathbf{e}}_n⟩=\sum _{i,j}{u}_i{v}_j⟨{\mathbf{e}}_i,{\mathbf{e}}_j⟩$$
可见，只要知道基向量之间的内积，就可以求出任意两个向量的内积。上式用矩阵乘法表示为
$$⟨\mathbf{u},\mathbf{v}⟩={\mathbf{u}}^{T}M\mathbf{v}$$
其中，矩阵 $M=({\delta }_{ij})$ 称为坐标基的度量矩阵，包含了基向量两两之间的内积
$${\delta }_{ij}=⟨{\mathbf{e}}_i,{\mathbf{e}}_j⟩$$
定义：三维几何空间的度量概念也推广到向量空间中

1. $\Vert \mathbf{v}\Vert =\sqrt{⟨\mathbf{v},\mathbf{v}⟩}$ 称为向量的长度或范数；
2. $\text{dist}(\mathbf{u},\mathbf{v})=\Vert \mathbf{u}-\mathbf{v}\Vert$ 称为向量 $\mathbf{u},\mathbf{v}$ 间的距离；
3. 两向量的夹角余弦 $\cos \theta =\frac{⟨\mathbf{u},\mathbf{v}⟩}{\Vert \mathbf{u}\Vert \cdot \Vert \mathbf{v}\Vert }$
4. 若 $⟨\mathbf{u},\mathbf{v}⟩=0$ ，则称 $\mathbf{u},\mathbf{v}$ 正交(orthogonal)；
5. 长度为1的向量称为单位向量；
6. 如果向量空间的基向量都为单位向量且两两正交，则称为标准正交基(orthonormal basis)；

性质：

1. $\Vert \mathbf{v}\Vert ⩾0,\Vert \mathbf{v}\Vert =0\text{ iff }\mathbf{v}=0$
2. $c\Vert \mathbf{v}\Vert =|c|\Vert \mathbf{v}\Vert$
3. 勾股定理：若 $\mathbf{u},\mathbf{v}$ 是 $V$ 中的正交向量，则 $\Vert \mathbf{u}+\mathbf{v}{\Vert }^2=\Vert \mathbf{u}{\Vert }^2+\Vert \mathbf{v}{\Vert }^2$
4. 柯西-施瓦茨不等式：$|⟨\mathbf{u},\mathbf{v}⟩|⩽\Vert \mathbf{u}\Vert \cdot \Vert \mathbf{v}\Vert$
5. 三角不等式： $\Vert \mathbf{u}+\mathbf{v}\Vert ⩽\Vert \mathbf{u}\Vert +\Vert \mathbf{v}\Vert$
6. 若向量组是一组两两正交的非零向量，则向量组线性无关

示例：向量空间的欧几里得内积定义为
$$⟨\mathbf{u},\mathbf{v}⟩={\mathbf{u}}^T\mathbf{v}=u_1{v}_1+u_2{v}_2+\cdots +u_n{v}_n$$

即采用的是标准正交基，度量矩阵为单位阵
$${\delta }_{ij}=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}$$
以后，当我们讨论内积空间时，总默认采用欧几里得内积。

正交补：设 $W$ 是 $V$ 的子空间，如果向量 $\mathbf{z}$ 与子空间 $W$ 中的任意向量都正交 ，则称 $\mathbf{z}$ 正交于 $W$。与子空间 $W$ 正交的全体向量的集合称为 $W$ 的正交补(orthogonal complement)，并记作 $W^{\perp }$ 。
$$W^{\perp }=\{\mathbf{z}\in V\mid \forall \mathbf{w}\in W,⟨\mathbf{z},\mathbf{w}⟩=0\}$$

由其次方程 $A\mathbf{x}=0$ 的解空间易知：

1. $(\text{row }A{)}^{\perp }=\ker A$
2. $(\text{col }A{)}^{\perp }=\ker A^T$

定理：若 $\mathbf{z}$ 与${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_p$ 均正交，则 $\mathbf{z}$ 正交于 $W=\text{span }\{{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_p\}$ 。

证：对于任意 $\mathbf{v}\in W$ ，可线性表示为
$$\mathbf{v}=x_1{\mathbf{u}}_1+x_2{\mathbf{u}}_2+\cdots +x_p{\mathbf{u}}_p$$
由内积的性质知
$$⟨\mathbf{z},\mathbf{v}⟩=x_1⟨\mathbf{z},{\mathbf{u}}_1⟩+x_2⟨\mathbf{z},{\mathbf{u}}_2⟩+\cdots +x_p⟨\mathbf{z},{\mathbf{u}}_p⟩=0$$
于是可知$\mathbf{z}$ 正交于 $W$ 。

正交矩阵与正交变换

定义：若矩阵 $A$ 满足 $A^{T}A=I$，即 $A^{-1}=A^T$，则称 $A$ 为正交矩阵。

上式用 $A$ 的列向量表示，即
[ a 1 T a 2 T ⋮ a n T ] ( a 1 , a 2 , ⋯   , a n ) = I n \begin{bmatrix}\mathbf a_1^T\\ \mathbf a_2^T\\ \vdots\\\mathbf a_n^T\end{bmatrix} (\mathbf a_1,\mathbf a_2,\cdots,\mathbf a_n)=I_n ​a1T​a2T​⋮anT​​ ​(a1​,a2​,⋯,an​)=In​
于是得到
$${\mathbf{a}}_i{\mathbf{a}}_j=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}$$
定理：矩阵 $A$ 为正交矩阵的充要条件是$A$ 的列向量都是单位向量且两两正交。

考虑到 $A^{T}A=I$ 与 $A{A}^T=I$ 等价，所以上述结论对 $A$ 的行向量亦成立。

正交矩阵 $A$ 对应的线性变换称为正交变换。设 $\mathbf{u},\mathbf{v}\in V$ ，则变换后的内积
$$⟨A\mathbf{u},A\mathbf{v}⟩=(A\mathbf{u}{)}^T(A\mathbf{v})={\mathbf{u}}^T\mathbf{v}=⟨\mathbf{u},\mathbf{v}⟩$$
定理：正交变换后向量内积保持不变，从而向量的长度、距离和夹角均保持不变。

正交投影

正交分解定理：设 $W$ 是 $V$ 的子空间，那么对于任意 $\mathbf{v}\in V$ 可唯一表示为
$$\mathbf{v}=\hat{\mathbf{v}}+\mathbf{z}$$
其中 $\hat{\mathbf{v}}\in W,\mathbf{z}\in W^{\perp }$ 。$\hat{\mathbf{v}}$ 称为$\mathbf{v}$ 在 $W$ 上的正交投影(orthogonal projection)，记作 ${\text{proj}}_W\mathbf{v}$ 。若 ${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_p$ 是 $W$ 的任意正交基，则
$$\hat{\mathbf{v}}={\text{proj}}_W\mathbf{v}=\frac{⟨\mathbf{v},{\mathbf{u}}_1⟩}{⟨{\mathbf{u}}_1,{\mathbf{u}}_1⟩}{\mathbf{u}}_1+\frac{⟨\mathbf{v},{\mathbf{u}}_2⟩}{⟨{\mathbf{u}}_2,{\mathbf{u}}_2⟩}{\mathbf{u}}_2+\cdots +\frac{⟨\mathbf{v},{\mathbf{u}}_p⟩}{⟨{\mathbf{u}}_p,{\mathbf{u}}_p⟩}{\mathbf{u}}_p$$

证：若${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_p$ 是 $W$ 的任意正交基，则任意 $\mathbf{v}\in V$ 的投影可线性表示
$$\hat{\mathbf{v}}=x_1{\mathbf{u}}_1+x_2{\mathbf{u}}_2+\cdots +x_p{\mathbf{u}}_p$$
令 $\mathbf{z}=\mathbf{v}-\hat{\mathbf{v}}$ ，由于任意基向量${\mathbf{u}}_j$ 与其他基向量正交且 $\mathbf{z}\in W^{\perp }$，则
$$⟨\mathbf{z},{\mathbf{u}}_j⟩=⟨\mathbf{v}-\hat{\mathbf{v}},{\mathbf{u}}_j⟩=⟨\mathbf{v},{\mathbf{u}}_j⟩-x_j⟨{\mathbf{u}}_j,{\mathbf{u}}_j⟩=0$$
于是便求得了投影的系数
$$x_j=\frac{⟨\mathbf{v},{\mathbf{u}}_j⟩}{⟨{\mathbf{u}}_j,{\mathbf{u}}_j⟩}$$
性质：设 $W$ 是 $V$ 的子空间，$\mathbf{v}\in V,\hat{\mathbf{v}}={\text{proj}}_W\mathbf{v}$

1. (最佳逼近定理) $\hat{\mathbf{v}}$ 是 $W$ 中最接近 $\mathbf{v}$ 的点，即对于 $\forall \mathbf{w}\in W,\Vert \mathbf{v}-\hat{\mathbf{v}}\Vert ⩽\Vert \mathbf{v}-\mathbf{w}\Vert$
2. 若$U=({\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_p)$ 的列向量是 $W$ 的单位正交基，则 ${\text{proj}}_W\mathbf{v}=U{U}^T\mathbf{v}$

证：(1) 取$W$ 中的任一向量 $\mathbf{w}$ ，由于
$$\mathbf{v}-\mathbf{w}=(\mathbf{v}-\hat{\mathbf{v}})+(\hat{\mathbf{v}}-\mathbf{w})$$

由勾股定理定理知道
$$\Vert \mathbf{v}-\mathbf{w}{\Vert }^2=\Vert \mathbf{v}-\hat{\mathbf{v}}{\Vert }^2+\Vert \hat{\mathbf{v}}-\mathbf{w}{\Vert }^2$$
由于 $\Vert \hat{\mathbf{v}}-\mathbf{w}{\Vert }^2⩾0$ 从而不等式得证。

(2) 由于${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_p$是 $W$ 的单位正交基，那么
$$\begin{gathered} {\text{proj}}_W\mathbf{v}=⟨\mathbf{v},{\mathbf{u}}_1⟩{\mathbf{u}}_1+⟨\mathbf{v},{\mathbf{u}}_2⟩{\mathbf{u}}_2\cdots ++⟨\mathbf{v},{\mathbf{u}}_p⟩{\mathbf{u}}_p \\ ={\mathbf{u}}_1^T\mathbf{v}{\mathbf{u}}_1+{\mathbf{u}}_2^T\mathbf{v}{\mathbf{u}}_2+\cdots +{\mathbf{u}}_p^T\mathbf{v}{\mathbf{u}}_p=U{U}^T\mathbf{v} \end{gathered}$$

施密特正交化

施密特(Schmidt)正交化方法是将向量空间 $V$ 的任意一组基 ${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_r$ 构造成标准正交基 ${\mathbf{e}}_1,{\mathbf{e}}_2,\cdots ,{\mathbf{e}}_r$ 的简单算法。

取
$$\begin{array}{rl}& {\mathbf{b}}_1={\mathbf{a}}_1\\ & {\mathbf{b}}_2={\mathbf{a}}_2-\frac{{\mathbf{b}}_1^T{\mathbf{a}}_2}{{\mathbf{b}}_1^T{\mathbf{b}}_1}{\mathbf{b}}_1\\ & {\mathbf{b}}_3={\mathbf{a}}_3-\frac{{\mathbf{b}}_1^T{\mathbf{a}}_3}{{\mathbf{b}}_1^T{\mathbf{b}}_1}{\mathbf{b}}_1-\frac{{\mathbf{b}}_2^T{\mathbf{a}}_3}{{\mathbf{b}}_2^T{\mathbf{b}}_2}{\mathbf{b}}_2\\ & \cdots \\ & {\mathbf{b}}_r={\mathbf{a}}_r-\frac{{\mathbf{b}}_1^T{\mathbf{a}}_r}{{\mathbf{b}}_1^T{\mathbf{b}}_1}{\mathbf{b}}_1-\frac{{\mathbf{b}}_2^T{\mathbf{a}}_r}{{\mathbf{b}}_2^T{\mathbf{b}}_2}{\mathbf{b}}_2-\cdots -\frac{{\mathbf{b}}_{r-1}^T{\mathbf{a}}_{r-1}}{{\mathbf{b}}_{r-1}^T{\mathbf{b}}_{r-1}}{\mathbf{b}}_{r-1}\end{array}$$
那么 ${\mathbf{b}}_1,{\mathbf{b}}_2,\cdots ,{\mathbf{b}}_r$ 是 $V$ 的一组正交基
$$V=\text{span }\{{\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_r\}=\text{span }\{{\mathbf{b}}_1,{\mathbf{b}}_2,\cdots ,{\mathbf{b}}_r\}$$
再把它们单位化
$${\mathbf{e}}_1=\frac{1}{\Vert {\mathbf{b}}_1\Vert }{\mathbf{b}}_1,{\mathbf{e}}_2=\frac{1}{\Vert {\mathbf{b}}_2\Vert }{\mathbf{b}}_2,\cdots ,{\mathbf{e}}_r=\frac{1}{\Vert {\mathbf{b}}_r\Vert }{\mathbf{b}}_r$$
最终获得 $V$ 的一组标准正交基。

例：设 a 1 = [ 1 1 1 1 ] , a 2 = [ 0 1 1 1 ] , a 3 = [ 0 0 1 1 ] \mathbf a_1=\begin{bmatrix}1\\1\\1\\1\end{bmatrix},\mathbf a_2=\begin{bmatrix}0\\1\\1\\1\end{bmatrix},\mathbf a_3=\begin{bmatrix}0\\0\\1\\1\end{bmatrix} a1​= ​1111​ ​,a2​= ​0111​ ​,a3​= ​0011​ ​ 是子空间$V$的一组基，试构造 $V$ 的一组正交基

解：step 1 取第一个基向量 ${\mathbf{b}}_1={\mathbf{a}}_1,W_1=\text{span}\{{\mathbf{a}}_1\}=\text{span}\{{\mathbf{b}}_1\}$

step 2 取第二个基向量
b 2 = a 2 − proj W 1 a 2 = a 2 − b 1 T a 2 b 1 T b 1 b 1 = [ 0 1 1 1 ] − 3 4 [ 1 1 1 1 ] = [ − 3 / 4 1 / 4 1 / 4 1 / 4 ] \mathbf b_2=\mathbf a_2-\text{proj}_{W_1}\mathbf a_2= \mathbf a_2-\frac{\mathbf b_1^T\mathbf a_2}{\mathbf b_1^T\mathbf b_1}\mathbf b_1\\ =\begin{bmatrix}0\\1\\1\\1\end{bmatrix}-\frac{3}{4}\begin{bmatrix}1\\1\\1\\1\end{bmatrix}= \begin{bmatrix}-3/4\\1/4\\1/4\\1/4\end{bmatrix} b2​=a2​−projW1​​a2​=a2​−b1T​b1​b1T​a2​​b1​= ​0111​ ​−43​ ​1111​ ​= ​−3/41/41/41/4​ ​

为计算方便，缩放 ${\mathbf{b}}_2=(-3,1,1,1{)}^T$ 。同样取 $W_2=\text{span}\{{\mathbf{b}}_1,{\mathbf{b}}_2\}$

step 3 取第三个基向量
b 3 = a 3 − proj W 2 a 3 = a 3 − b 1 T a 3 b 1 T b 1 b 1 − b 2 T a 3 b 2 T b 2 b 2 = [ 0 0 1 1 ] − 2 4 [ 1 1 1 1 ] − 2 12 [ − 3 1 1 1 ] = [ 0 − 2 / 3 1 / 3 1 / 3 ] \mathbf b_3=\mathbf a_3-\text{proj}_{W_2}\mathbf a_3= \mathbf a_3-\frac{\mathbf b_1^T\mathbf a_3}{\mathbf b_1^T\mathbf b_1}\mathbf b_1-\frac{\mathbf b_2^T\mathbf a_3}{\mathbf b_2^T\mathbf b_2}\mathbf b_2\\ =\begin{bmatrix}0\\0\\1\\1\end{bmatrix}- \frac{2}{4}\begin{bmatrix}1\\1\\1\\1\end{bmatrix}- \frac{2}{12}\begin{bmatrix}-3\\1\\1\\1\end{bmatrix}= \begin{bmatrix}0\\-2/3\\1/3\\1/3\end{bmatrix} b3​=a3​−projW2​​a3​=a3​−b1T​b1​b1T​a3​​b1​−b2T​b2​b2T​a3​​b2​= ​0011​ ​−42​ ​1111​ ​−122​ ​−3111​ ​= ​0−2/31/31/3​ ​

实对称矩阵的对角化

定理：

1. 实对称矩阵对应于不同特征值的特征向量必正交。
2. 实对称矩阵可正交相似对角化。即对于对称矩阵 $A$ ，存在正交矩阵 $P$ ，使 $\Lambda =P^{-1}AP$ 。 $\Lambda$ 的对角元素为 $A$ 的特征值。

证明：(1) 设实对称矩阵 $A$ 对应不同特征值 ${\lambda }_1,{\lambda }_2$ 的特征向量分别为 ${\mathbf{u}}_1,{\mathbf{u}}_2$ 。则
$$A^T=A,A{\mathbf{u}}_1={\lambda }_1{\mathbf{u}}_1,A{\mathbf{u}}_2={\lambda }_2{\mathbf{u}}_2$$
对 $A{\mathbf{u}}_1={\lambda }_1{\mathbf{u}}_1$两边求转置，再右乘向量 ${\mathbf{u}}_2$，有
$${\mathbf{u}}_1^{T}A{\mathbf{u}}_2={\lambda }_1{\mathbf{u}}_1^T{\mathbf{u}}_2$$
对 $A{\mathbf{u}}_2={\lambda }_2{\mathbf{u}}_2$两边左乘向量 ${\mathbf{u}}_1^T$，有
$${\mathbf{u}}_1^{T}A{\mathbf{u}}_2={\lambda }_2{\mathbf{u}}_1^T{\mathbf{u}}_2$$
两式相减，得到
$$({\lambda }_1-{\lambda }_2){\mathbf{u}}_1^T{\mathbf{u}}_2=0$$
由于 ${\lambda }_1\ne {\lambda }_2$ ，所以 ${\mathbf{u}}_1^T{\mathbf{u}}_2=0$ ，即特征向量 ${\mathbf{u}}_1,{\mathbf{u}}_2$ 正交。

例：将矩阵 A = [ 3 − 2 4 − 2 6 2 4 2 3 ] A=\begin{bmatrix}3&-2&4\\-2&6&2\\4&2&3\end{bmatrix} A= ​3−24​−262​423​ ​正交对角化

解：特征方程 $\det (A-\lambda I)=-(\lambda -7{)}^2(\lambda +2)=0$ ，特征值和特征向量分别为
λ = 7 : v 1 = [ 1 0 1 ] , v 2 = [ − 1 / 2 1 0 ] ; λ = − 2 : v 1 = [ − 1 − 1 / 2 1 ] \lambda=7:\mathbf v_1=\begin{bmatrix}1\\0\\1\end{bmatrix}, \mathbf v_2=\begin{bmatrix}-1/2\\1\\0\end{bmatrix}; \quad \lambda=-2:\mathbf v_1=\begin{bmatrix}-1\\-1/2\\1\end{bmatrix} λ=7:v1​= ​101​ ​,v2​= ​−1/210​ ​;λ=−2:v1​= ​−1−1/21​ ​
尽管 ${\mathbf{v}}_1,{\mathbf{v}}_2$ 是线性无关的，但它们并不正交。我们可以用施密特正交化方法，计算与 ${\mathbf{v}}_1$ 正交的 ${\mathbf{v}}_2$ 分量
z 2 = v 2 − v 1 T v 2 v 1 T v 1 v 1 = [ − 1 / 4 1 1 / 4 ] \mathbf z_2=\mathbf v_2-\frac{\mathbf v_1^T\mathbf v_2}{\mathbf v_1^T\mathbf v_1}\mathbf v_1=\begin{bmatrix}-1/4\\1\\1/4\end{bmatrix} z2​=v2​−v1T​v1​v1T​v2​​v1​= ​−1/411/4​ ​
由于 ${\mathbf{z}}_2$ 是特征值$\lambda =7$ 的特征向量 ${\mathbf{v}}_1,{\mathbf{v}}_2$ 的线性组合，从而 ${\mathbf{z}}_2$ 是特征值$\lambda =7$ 的特征向量。

分别将 ${\mathbf{v}}_1,{\mathbf{v}}_2,{\mathbf{v}}_3$ 标准化
u 1 = [ 1 / 2 0 1 / 2 ] , u 2 = [ − 1 / 18 4 / 18 1 / 18 ] , u 3 = [ − 2 / 3 − 1 / 3 2 / 3 ] \mathbf u_1=\begin{bmatrix}1/\sqrt{2}\\0\\1/\sqrt{2}\end{bmatrix}, \mathbf u_2=\begin{bmatrix}-1/\sqrt{18}\\4/\sqrt{18}\\1/\sqrt{18}\end{bmatrix}, \mathbf u_3=\begin{bmatrix}-2/3\\-1/3\\2/3\end{bmatrix} u1​= ​1/2 ​01/2 ​​ ​,u2​= ​−1/18 ​4/18 ​1/18 ​​ ​,u3​= ​−2/3−1/32/3​ ​
令
P = ( u 1 , u 2 , u 3 ) = [ 1 / 2 − 1 / 18 − 2 / 3 0 4 / 18 − 1 / 3 1 / 2 1 / 18 2 / 3 ] , Λ = [ 7 0 0 0 7 0 0 0 − 2 ] P=(\mathbf u_1,\mathbf u_2,\mathbf u_3)=\begin{bmatrix}1/\sqrt{2}&-1/\sqrt{18}&-2/3\\0&4/\sqrt{18}&-1/3\\1/\sqrt{2}&1/\sqrt{18}&2/3\end{bmatrix},\quad \Lambda=\begin{bmatrix}7&0&0\\0&7&0\\0&0&-2\end{bmatrix} P=(u1​,u2​,u3​)= ​1/2 ​01/2 ​​−1/18 ​4/18 ​1/18 ​​−2/3−1/32/3​ ​,Λ= ​700​070​00−2​ ​
于是正交矩阵 $P$ 将 $A$ 正交对角化，即 $A=P\Lambda P^{-1}$

对称矩阵的谱：矩阵 $A$ 的特征值的集合称为 $A$ 的谱(spectrum)
$$\text{spec }A=\{\lambda \in \mathbb{C}\mid \det (A-\lambda I)=0\}$$
性质 设 $A$ 为 $n$ 阶对称阵

1. $A$ 有 $n$ 个实特征值(包含重复的特征值)；
2. 对于每一个特征值，对应的特征空间的维数等于特征方程的根的重数；
3. 不同特征值的特征空间相互正交的；
4. $A$ 可正交対角化;

谱分解：假设对称矩阵 $A=P\Lambda P^{-1}$ 。其中 $P$ 为正交矩阵，其列是 $A$ 的正交特征向量 ${\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_n$ ，对应的特征值 ${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$是 $\Lambda$ 的对角线元素。由于 $P^T=P^{-1}$ ，故
A = P Λ P − 1 = ( u 1 , u 2 , ⋯   , u n ) [ λ 1 λ 2 ⋱ λ n ] [ u 1 T u 2 T ⋮ u n T ] = ( λ 1 u 1 , λ 2 u 2 , ⋯   , λ n u n ) [ u 1 T u 2 T ⋮ u n T ] = λ 1 u 1 u 1 T + λ 2 u 2 u 2 T + ⋯ + λ n u n u n T \begin{aligned} A&=P\Lambda P^{-1}=(\mathbf u_1,\mathbf u_2,\cdots,\mathbf u_n) \begin{bmatrix}\lambda_1\\&\lambda_2\\&&\ddots\\&&&\lambda_n\end{bmatrix} \begin{bmatrix}\mathbf u_1^T\\\mathbf u_2^T\\\vdots\\\mathbf u_n^T\end{bmatrix} \\ &=(\lambda_1\mathbf u_1,\lambda_2\mathbf u_2,\cdots,\lambda_n\mathbf u_n) \begin{bmatrix}\mathbf u_1^T\\\mathbf u_2^T\\\vdots\\\mathbf u_n^T\end{bmatrix} \\ &=\lambda_1\mathbf u_1\mathbf u_1^T+\lambda_2\mathbf u_2\mathbf u_2^T+\cdots+\lambda_n\mathbf u_n\mathbf u_n^T \end{aligned} A​=PΛP−1=(u1​,u2​,⋯,un​) ​λ1​​λ2​​⋱​λn​​ ​ ​u1T​u2T​⋮unT​​ ​=(λ1​u1​,λ2​u2​,⋯,λn​un​) ​u1T​u2T​⋮unT​​ ​=λ1​u1​u1T​+λ2​u2​u2T​+⋯+λn​un​unT​​
由于它将 $A$ 分解为由 $A$ 的特征值确定的小块，因此这个 $A$ 的表示就称为 $A$ 的谱分解。 上式中的每一项都是一个秩为1的 $n$ 阶方阵。例如，${\lambda }_1{\mathbf{u}}_1{\mathbf{u}}_1^T$的每一列都是 ${\mathbf{u}}_1$ 的倍数。