高等代数笔记6：欧式空间

双线性函数与二次型

双线性函数的含义

在欧式空间这个部分，我们将在线性空间上引入角度和长度。在解析几何中，角度和长度的引入依赖于一个概念叫内积。我们也希望在更一般的线性空间上建立内积，就是所谓的内积空间。但，首要的一个问题是内积满足什么样的性质？对这个问题的回答，决定了我们该如何对内积进行抽象。内积一个最基本的性质就是双线性，即：
(1)$(\alpha a_1+\beta a_2,b)=\alpha (a_1,b)+\beta (a_2,b)$
(2)$(a,\alpha b_1+\beta b_2)=\alpha (a,b_1)+\beta (a,b_2)$
当然，仅仅只有双线性是不能成为内积的。但双线性无疑是内积最重要的性质之一了，因此，本节就对双线性进行抽象。

定义6.1 $V$是$K$上的线性空间，$f$是定义在$V\times V$上的函数，如果满足：$\forall \alpha ,\beta \in K$，$\forall x,y,z\in V$，都有$$f(\alpha x+\beta y,z)=\alpha f(x,z)+\beta (y,z)$$$$f(x,\alpha y+\beta z)=\alpha f(x,y)+\beta f(x,z)$$则称$f$是$V$上的双线性函数

该如何取把握一个双线性函数呢？显然，在有限维线性空间上，我们还是应当从一组基入手，假设$\dim (V)=n$，设$e_1,\cdots ,e_n$是其一组基，对任意的$x,y\in V$，可唯一表示为
$$x=\sum _{i=1}^n{x}_i{e}_i,y=\sum _{i=1}^n{y}_i{e}_i$$由$f$对第一个变元是线性的，就有
$$f(x,y)=\sum _{i=1}^n{x}_{i}f(e_i,y)$$再由$f$对第二个变元是线性的，就有
$$f(x,y)=\sum _{i=1}^n\sum _{j=1}^n{x}_i{y}_{j}f(e_i,e_j)$$可见，只要把握了矩阵
$$A=(f(e_i,e_j))$$就把握了整个双线性函数，当然，这对无穷维空间不一定成立，而我们这里仅讨论有限维线性空间。$A$称为$f$在$(e_1,\cdots ,e_n)$下的矩阵，于是
$$f(x,y)=x_0^{T}A{y}_0$$$x_0,y_0$是$x,y$在$(e_1,\cdots ,e_n)$下的坐标向量。实际上，
$$x_0^{T}A{y}_0$$也是$K^n$上的双线性函数，特别地，我们讨论一类特殊的双线性函数，实际上，对于内积，还有如下的特点：
$$(x,y)=(y,x)$$

定义6.2 $V$是$K$上的线性空间，$f$是定义在$V$上的双线性函数，如果$\forall x,y\in V$，都有
$$f(x,y)=f(y,x)$$则称$f$是对称的双线性函数

在对称的条件下，$A$就是对称矩阵。下一个问题是，在不同的基下，双线性函数的矩阵有什么关系。假设$f$在$(e_1,\cdots ,e_n)$下的矩阵为$A$，$({\beta }_1,\cdots ,{\beta }_n)$是$V$的另一组基，设
$$({\beta }_1,\cdots ,{\beta }_n)=(e_1,\cdots ,e_n)P$$设$x$在$({\beta }_1,\cdots ,{\beta }_n)$下的坐标为$x_0$，在$(e_1,\cdots ,e_n)$下的坐标为$P{x}_0$，设$y$在$({\beta }_1,\cdots ,{\beta }_n)$下的坐标为$y_0$，则在$(e_1,\cdots ,e_n)$下的坐标为$P{y}_0$，再设$f$在$({\beta }_1,\cdots ,{\beta }_n)$下的矩阵为$B$，则
$$f(x,y)=x_0^{T}B{y}_0=x_0^T{P}^{T}AP{y}_0$$由$x,y$任意性，对任意的$x_0,y_0\in K^n$，都有
$$f(x,y)=x_0^{T}B{y}_0=x_0^T{P}^{T}AP{y}_0$$成立，就有
$$B=P^{T}AP$$我们可以定义矩阵的合同关系，来描述这种状况

定义6.3 $A,B\in M_n(K)$，如果存在可逆矩阵$P$，使得
$$B=P^{T}AP$$则称$A,B$合同

同样地，容易验证：合同关系是一种等价关系。前面我们讲到，我们可以根据相似关系划分矩阵的等价类，同样地，我们可以根据合同关系划分矩阵的等价类。

二次型的定义

定义6.4 $A\in M_n(K)$是$n$阶对称矩阵，$K^n$上的函数$f$称为$K^n$上的一个二次型，其中$f(x,y)=x^{T}Ax$，$A$称为二次型$f$的矩阵

当然，二次型是$K^n$上对称的双线性函数。当然，给出可逆矩阵$P$，作可逆线性替换$y=P^{-1}x$，二次型又可以表示为
$$f(x)=x_1^{T}A{x}_2=y{P}^{T}APy$$两个矩阵是合同关系。我们当然想要构造一个可逆线性变换使得矩阵最简单。最简单莫过于对角矩阵了，在对角矩阵下，二次型就可以表示成:
$$f(x,y)=\sum _{i=1}^n{\lambda }_i{x}_i^2$$可不可以做到呢？答案是肯定的，任何对称矩阵都可以合同于对角阵，下面我们来证明这一点，不过在证明之前，我们先以初等变换的角度来理解合同变换。首先，任何可逆矩阵都可以表示成一系列初等矩阵的乘积。对可逆矩阵$P$，存在有限个初等矩阵$E_1,\cdots ,E_s$使得
$$P=E_1\cdots E_s$$对于对称矩阵$A$，就有
$$B=P^{T}AP=E_s^T\cdots E_1^{T}A{E}_1\cdots E_s$$(1)对于交换$i,j$两行得到的初等矩阵
$$E(i,j)AE(i,j{)}^T$$相当于交换$i,j$两行，同时交换$i,j$两列
(2)对于将$i$行$k$倍加到$j$行的初等矩阵$E(i,j,k)$
$$E(i,j,k)AE(i,j,k{)}^T$$相当于将$i$行$k$倍加到$j$行的同时，将$i$列的$k$被加到$j$列
(3)对于将$i$行乘以$k$倍的初等矩阵$E_i(k)$，则
$$E_i(k)A{E}_i^T(k)$$相当于$i$行乘以$k$倍后$i$列也乘以$k$倍

命题6.1 $A\in M_n(K)$是$n$阶对称矩阵，则$A$可以合同于一个对角矩阵

证：
对矩阵阶数进行归纳$n=1$时结论显然成立。
假设结论对所有$k$阶对称矩阵成立，对$k+1$阶对称矩阵$A=(a_{ij})$，不妨设$a_{11},\cdots ,a_{1(k+1)}$不全为0，否则，$A$可表为
$$A=\left[\begin{array}{cc}0& \\ & B\end{array}\right]$$其中，$B$是$k$阶对称矩阵，由归纳假设，存在$k$阶可逆矩阵$P$，及$k$阶对角矩阵$D$，使得$B=P^{T}DP$，于是
$$Q=\left(\begin{array}{cc}1& \\ & P\end{array}\right)$$就有
$$A=Q^T\left[\begin{array}{cc}0& \\ & D\end{array}\right]Q$$设$a_{1i}\ne 0$，将第$i$行加到第$1$行的同时将第$i$列加到第$1$列，就得到与$A$合同的矩阵，此时$a_{11}\ne 0$，不妨就设$a_{11}\ne 0$。将第$1$行的$-\frac{a_{1i}}{a_{11}}$倍加到第$i$行的同时，将第$1$列的$-\frac{a_{1i}}{a_{11}}$倍加到第$j$列，$A$合同于如下形式的矩阵
$$\left[\begin{array}{cc}0& \\ & B\end{array}\right]$$在应用归纳假设，就可以证得结论

二次型的标准型和规范性

上节我们论述了所有的对称矩阵对合同于一个对角矩阵，这就意味着所有的二次型都可以通过可逆线性变数替换化为如下的形式
$$f(y_1,\cdots ,y_n)=\sum _{i=1}^n{\lambda }_i{y}_i^2$$称为二次型的标准型。怎么样化成标准型呢？方法众多，最常用的方法是配方法。通过配方法，逐步消元，从而找到一个可逆线性替换，配成标准型。我们下面来举一例说明配方法的使用。下面分两种情况讨论：
情形1：对只含交叉项，不含平方项的的二次型

例6.1 $f(x_1,x_2,x_3)=2x_1{x}_2+2x_1{x}_3+2x_2{x}_3$，如何作可逆线性替换使之含平方项。

解：
只需要利用平方差公式，令
$$\{\begin{array}{l}{x}_1=y_1-y_2\\ x_2=y_1+y_2\\ x_3=y_3\end{array}$$即
$$\{\begin{array}{l}{y}_1=\frac{1}{2}(x_1+x_2)\\ y_2=\frac{1}{2}{x}_2-x_1\\ y_3=x_3\end{array}$$代入，就得到
$$f(y_1,y_2,y_3)=2y_1^2-2y_2^2+4y_1{y}_3$$这样，就使得二次型出现平方项

情形2：对于至少有一个平方项的二次元，可以利用平方项和完全平方公式消去一个元。

例6.2 $f(x_1,x_2,x_3)=2x_1^2-2x_2^2+4x_1{x}_3$，利用完全平方公式消去$x_1$

解：
$$\{\begin{array}{l}{y}_1=x_1+x_3\\ y_2=x_2\\ y_3=x_3\end{array}$$
$$2x_1^2-2x_2^2+4x_1{x}_3=2(x_1+x_3{)}^2-2x_3^2-2x_2^2=2y_1^2-2y_2^2-2y_3^2$$这样就把二次型化为了标准型

反复运用以上两种手段，二次型就可以化为标准型。化为标准型之后，我们就需要对实二次型和复二次型作分类讨论。

对于实二次型只需要再进行一次伸缩变换。就可以把二次型化成$$\sum _{i=1}^n{\lambda }_i{y}_i^2$$其中，${\lambda }_i=1,0$或$-1$。我们称为是二次型的规范型。为了写法唯一，我们将系数为$-1$的项排在前面，$-1$紧随其后，$0$的项不写出来。

下面我们将说明，实二次型的规范型是唯一的。首先，合同变换不会改变矩阵的秩，所以非零项的个数是固定的。对于实对称矩阵$A$，设$A$合同于$D_1$和$D_2$，其中
$$D_1=diag(1,\cdots ,1,-1,\cdots ,-1,0,\cdots ,0)$$其中$D_1$的对角元有$p$个$1$,$r-p$个$-1$。再设
$$D_2=diag(1,\cdot ,1,-1,\cdots ,-1,0,\cdots ,0)$$其中$D_2$的对角元有$q$个$1$，$r-q$个$-1$。再设$A=P^T{D}_{1}P=Q^T{D}_{2}Q$。对二次型$x^{T}Ax$，作可逆线性替换$$y=Px,z=Qx$$就可以将二次型化为
$$f(x)=f_2(y)=f_3(z)=x^{T}Ax=y^T{D}_{1}y=z^T{D}_{2}z$$构造$R^n$的两个子空间
$$V_1=\{P^{-1}(y_1,\cdots ,y_p,0,\cdots ,0{)}^T:(y_1,\cdots ,y_p)\in R^p\}$$以及
$$V_2=\{Q^{-1}(0,\cdots ,0,z_{q+1},\cdots ,z_n):(z_{q+1},\cdots ,z_n)\in R^{n-q}\}$$于是：$\dim (V_1)=p,\dim (V_2)=n-q$，注意到，对于任意的$(y_1,\cdots ,y_p)\in R^p$，都有
$$f(P^{-1}(y_1,\cdots ,y_p,0,\cdots ,0{)}^T)=\sum _{i=1}^p{y}_i^2\ge 0$$即对任意的$x\in V_1$，都有$f(x)\ge 0$，$f(x)=0$当且仅当$x=0$，同理，对任意的$x\in V_2$，$f(x)\le 0$，对任意的$x\in V_1\cap V_2$，就有$f(x)\ge 0,f(x)\le 0$同时成立，于是$x=0$。因此$V_1+V_2$是直和，$V_1+V_2$的维数为$n-q+p\le n$，就可以推出$p\le q$，同理可以证明$q\ge p$，于是$p=q$。

$p$称为二次型的正惯性系数，$r-p$称为$p$的负惯性系数，$r$称为二次型的秩。二次型就可以按照秩和正惯性系数进行分类。而对于复二次型，开根运算不受限制，二次型可以化为
$$y=\sum _{i=1}^r{y}_i^2$$复二次型可以通过简单的秩进行分类即可。

二次型的正定性

下面我们给出正定、负定、半正定和半负定的定义。
定义6.5 对实二次型$f(x)=x^{T}Ax$：
(1)如果$\forall x\in R^n$，$f(x)\ge 0$，则称$f$半正定
(2)如果$f$半正定，并且$f(x)=0$可推出$x=0$，则称$f$正定
(3)如果$-f$半正定，则称$f$半负定，如果$-f$正定，则称$f$负定
(4)如果$f$既不半正定，也不半负定，则称$f$不定

按照定义，我们只需要给出正定和半正定的判断准则即可。下面我们给出正定的判断准则。
命题6.2 对实二次型$f(x)=x^{T}Ax$，以下命题等价：
(1)$f$正定
(2)$A$合同于$E$
(3)$A$的所有顺序主子式大于0

所谓顺序主子式，就是取前$i$行前$i$列组成的$i$阶方阵的行列式，记为
$$A\left\{\begin{array}{c}1,\cdots ,i\\ 1,\cdots ,i\end{array}\right\}$$
其中$i=1,\cdots ,n$，下面我们来证明上面的命题。

解：
(1)和(2)等价是显然的。下面证明(1)和(3)等价。用数学归纳法证明，对二次型的阶数进行归纳，对一个变量的二次型，结论是显然成立的。
假设结论对$k$个变量的二次型成立，对$k+1$个变量的二次型$f(x)=x^{T}Ax$。先证明必要性。假设$f$正定：
将$A$分块为
$$A=\left[\begin{array}{cc}{A}_k& \alpha \\ {\alpha }^T& a_{(k+1)(k+1)}\end{array}\right]$$其中，$\alpha =(a_{(k+1)1},\cdots ,a_{(k+1)k}{)}^T$。对$y=(y_1,\cdots ,y_k,0{)}^T$，$g(y_1,\cdots ,y_k)=f(y)$是关于$(y_1,\cdots ,y_k)$的正定二次型，并且矩阵为$A_k$，由归纳假设$A_k$的所有顺序主子式都大于$0$，只需要证明$A$的行列式大于0即可。$e_{k+1}$是除了$k+1$个元为$1$，其他元为$0$的列向量，于是，由正定性
$$e_{k+1}^{T}A{e}_{k+1}=a_{(k+1)(k+1)}>0$$作可逆线性变换
$$y=P^{-1}x$$其中
$$P^{-1}=\left[\begin{array}{cc}{I}_k& 0\\ \frac{1}{a_{(k+1)(k+1)}}\alpha & 1\end{array}\right]$$二次型化为$y^{T}By$,其中
$$B=\left[\begin{array}{cc}{B}_k& 0\\ 0& a_{(k+1)(k+1)}\end{array}\right]$$实际上，只相当于将$A$的$(k+1)$行的$-\frac{a_{i(k+1)}}{a_{(k+1)(k+1)}}$被加到$i$行，同时将$A$的$(k+1)$列的$-\frac{a_{i(k+1)}}{a_{(k+1)(k+1)}}$被加到$i$列，就可以得到$B$，以上初等变换都不改变行列式的秩，故
$$\det (A)=\det (B_k)$$再利用同样地方法，$\det (B_k)>0$，故$\det (A)>0$，这样就证得了$A$的所有顺序主子式大于0。
再证明充分性，假设$A$的所有顺序主子式都大于0，我们证明$x^{T}Ax$正定，将$A$分块为
$$A=\left[\begin{array}{cc}{A}_k& \alpha \\ {\alpha }^T& a_{(k+1)(k+1)}\end{array}\right]$$按归纳假设，由$A$的所有顺序主子式都大于$0$，因此，$A_k$合同于单位矩阵，设$A_k=P_k^T{P}_k$，于是，令
$$Q=\left[\begin{array}{cc}{P}_k^{-1}& 0\\ 0& 1\end{array}\right]$$就有
$$Q^{T}AQ=B=\left[\begin{array}{cc}{I}_k& \beta \\ {\beta }^T& a_{(k+1)(k+1)}\end{array}\right]$$于是
$$\det (B)=[\det (Q){]}^2\det (A)>0$$设$\beta =(b_1,\cdots ,b_k{)}^T$，将$i$行的$-b_i$倍加到$k+1$行同时将$i$列的$-b_i$倍加到$k+1$列。就可以将$B$化为
$$C=\left[\begin{array}{cc}{I}_k& 0\\ 0& a\end{array}\right]$$以上初等变换都不改变行列式的值故
$$\det (C)=\det (B)>0$$因此，$\det (C)=a>0$，令
$$P=\left[\begin{array}{cc}{I}_k& 0\\ 0& \frac{1}{\sqrt{a}}\end{array}\right]$$就有
$$P^{T}CP=I_{k+1}$$于是$A$合同于$I_{k+1}$，因此二次型正定。由数学归纳法，(1)和(3)等价。

同样地，可以给出半正定的一些判定条件，只不过，这里的顺序主子式要改成一般的主子式。

命题6.3 对实二次型$f(x)=x^{T}Ax$，以下命题等价：
(1)$f$半正定
(2)$A$的负惯性系数为0
(3)$A$的所有主子式非负

证明是类似的，这里省略。

内积空间

内积空间的含义

到此为止，我们已经完成了定义内积的所有准备，现在，我们开始研究有限维的内积空间。首先什么是内积。内积首先是一个双线性函数，其次具有对称性，另外我们知道，在解析几何中，$(x,x)$表示向量长度的平方，$(x,x)=0$表示向量长度为$0$，自然而然地，就有$x=0$，因此，内积还应当具有正定性。因此，对以上三点性质进行抽象，就得到内积的定义，内积是$\underline{正定}$、$\underline{对称}$的$\underline{双线性函数}$。我们先来研究实内积空间，实内积空间我们称为欧式空间。

定义6.6 $V$是$R$上的线性空间，$(.,.)$是定义在$V\times V$上的正定、对称的双线性函数，称$(x,y)$为$x$和$y$的内积，$V$称为欧式空间。

欧式空间是实线性空间上引入了内积的概念，这样就可以定义角度、长度等概念。这就是平面几何空间、立体几何空间的抽象。对于复线性空间，我们要对双线性函数作特别的规定，即
$$(x,y)=\overline{(y,x)}$$这样，$(x,x)$就一定是实数，这个性质称为共轭对称。

定义6.7 $V$是$C$上的线性空间，$(.,.)$是定义在$V\times V$上的正定、共轭对称的双线性函数，称$(x,y)$为$x$和$y$的内积，$V$称为酉空间。

欧式空间和酉空间统称为内积空间，区别仅仅在于所在的数域不同。有了内积的概念，就可以定义长度和角度。在解析几何中，角度定义为
$$\arccos (\frac{(x,y)}{||x||||y||})$$其中，$$||x||=\sqrt{(x,x)},||y||=\sqrt{(y,y)}$$这有一个前提是$$|(x,y)|\le ||x||||y||$$这就是柯西-施瓦茨不等式。

定理6.1(柯西-施瓦茨不等式) $V$是内积空间(欧式空间/酉空间)，则$$|(x,y)|\le \sqrt{(x,x)(y,y)}$$等号成立的充要条件是$x,y$线性相关

解：
先证明欧式空间的情形：对任意的$x,y\in V$，不妨设$x\ne 0,y\ne 0$，否则不等式显然成立
$$(x+ty,x+ty)=(x,x)+2t(x,y)+t^2(y,y)$$这是一个关于$t$的二次函数，并且由内积的性质
$$(x+ty,x+ty)\ge 0\forall t\in R$$因此
$$\Delta =4(x,y{)}^2-4(x,x)(y,y)\le 0$$就可以得到结论。并且等号成立的充要条件是存在$t_0\in R$，使得
$$(x+ty,x+ty)=0$$等价于$x+ty=0$，反过来，如果$x,y$线性相关，则存在$t\in R$，$x=ty$或$y=tx$，设$x=ty$，则
$$(x,y)=t(y,y)$$
$$\sqrt{(x,x)(y,y)}=\sqrt{t^2(y,y{)}^2}=t(y,y)$$于是$$(x,y)=\sqrt{(x,x)(y,y)}$$
对于酉空间：对任意的$x,y\in V$，不妨设$x\ne 0,y\ne 0$，否则不等式显然成立。设$(x,y)=a+bi$，则
$$(x+ty,x+ty)=(x,x)+\overline{t}(x,y)+t(y,x)+t\overline{t}(y,y)$$对任意的$t\in C$，令$t=(x,y)s,s\in R$，就有
$$(x+ty,x+ty)=(x,x)+2s(a^2+b^2)+s^2(a^2+b^2)(y,y)\ge 0$$对任意的$s\in R$都成立，因此
$$\Delta =4(a^2+b^2{)}^2-4(a^2+b^2)(x,x)(y,y)\le 0$$即
$$|(x,y)|\le \sqrt{(x,x)(y,y)}$$如果等号成立，则存在一个$s$使$x+s(x,y)y=0$，$x,y$线性相关
反过来，如果$x,y$线性相关，存在$t\in C$,$x=ty$或$y=tx$。
假设$x=ty$，则
$$(x,y)(y,x)=|t{|}^2(y,y{)}^2$$
$$(x,x)(y,y)=|t{|}^2(y,y{)}^2$$于是
$$|(x,y)|=|t|(y,y)=\sqrt{(x,x)(y,y)}$$

这样，在欧式空间上，长度定义为
$$||x||=\sqrt{(x,x)}x\in V$$由此诱导的长度，有如下的性质：
(1)$||x||\ge 0,||x||=0$当且仅当$x=0$
(2)$||ax||=|a|||x||,\forall a\in K(R/C),x\in V$
(3)$||x+y||\le ||x||+||y||$
(1)(2)都是比较容易验证的，下面我们证明(3):
$$(x+y,x+y)=(x,x)+(x,y)+(y,x)+(y,y)$$在酉空间上，设$(x,y)=a+bi$，则
$$(x,y)+(y,x)=2a\le 2\sqrt{a^2+b^2}\le 2\sqrt{(x,x)(y,y)}$$因此
$$(x+y,x+y)\le (x,x)+2\sqrt{(x,x)(y,y)}+(y,y)=(\sqrt{(x,x)}+\sqrt{(y,y)}{)}^2$$欧式空间上证明是类似的。实际上，对线性空间$V$，满足上面三条性质的非负函数有很多，我们称这类函数为范数，是向量长度的抽象。与一般范数不同的是，内积诱导的范数和内积有密切的联系，即下面的平行四边形公式。我们先给出欧式空间的平行四边形公式。

命题6.3(平行四边形公式) $V$是欧式空间，$||.||$是内积诱导的范数，则对任意的$x,y\in V$
(1)$2||x|{|}^2+2||y|{|}^2=||x+y|{|}^2+||x-y|{|}^2$
(2)$(x,y)=\frac{1}{4}(||x+y|{|}^2-||x-y|{|}^2)$

该命题直接验证即可，对于酉空间，也有平行四边形公式，也可以由范数产生内积。

命题6.4 $V$是酉空间，$||.||$是内积诱导的范数，则对任意的$x,y\in V$
(1)$2||x|{|}^2+2||y|{|}^2=||x+y|{|}^2+||x-y|{|}^2$
(2)$(x,y)=\frac{1}{4}[(x+y,x+y)-(x-y,x-y)+i(x+iy,x+iy)-i(x-iy,x-iy)]$

在泛函分析中，我们会证明，只要满足两个命题中的(1)，就可以由范数产生内积，赋范空间就成了内积空间。但不是所有的范数都满足平行四边形公式，因而不是所有的赋范空间都是内积空间，当然，这不是线性代数的内容，这里不再深究。

内积空间上的正交性与标准正交基

有了内积的概念，就有角度，就有正交。

定义6.8 $V$是内积空间，$x,y\in V$，如果$(x,y)=0$，则称$x$和$y$正交，记为$x\perp y$

除了定义两个向量之间的正交，还可以定义向量和集合之间的正交。

定义6.9 $V$是内积空间，$E\subset V$，$x\in V$，如果对任意的$y\in E$,$x\perp y$，则称$x$和$E$正交记为$x\perp E$

只要有正交，平面上的勾股定理，在一般的内积空间也成立。

定理6.2(勾股定理) $V$是内积空间，$x,y\in V$，$x\perp y$，则
$$||x+y|{|}^2=||x|{|}^2+||y|{|}^2$$

现在我们考虑内积空间$V$的子空间$M$，设全体与$M$正交的向量为$M^{\perp }$，容易验证，$M^{\perp }$是$V$的子空间，我们称为$M$的正交补空间。并且，如果$x\in M\cap M^{\perp }$，则$(x,x)=0,x=0$，因此，$M$和$M^{\perp }$的和是直和。我们这里主要考虑有限维的内积的空间。给定一个子空间$M$，$M$和$M^{\perp }$的维度有何关系呢？下面我们证明：
$$\dim (V)=\dim (M)+\dim (M^{\perp })$$也就是$V=M\oplus M^{\perp }$。为了证明这点，我们需要找到$V$的一组特殊的基\$(e_1,\cdots ,e_n)$，满足：
$(e_i,e_j)=0,i\ne j$并且$||e_i||=1,i=1,\cdots ,n$
这样的基是否存在的呢？答案是肯定的，任意给定一组基${\beta }_1,\cdots ,{\beta }_n$，我们都可以将其成这样的一组基。首先我们要求两两正交。可以通过以下的基变换：
$$\{\begin{array}{l}{\gamma }_1={\beta }_1\\ {\gamma }_2={\beta }_2-\frac{({\gamma }_1,{\beta }_2)}{({\gamma }_1,{\gamma }_1)}{\gamma }_1\\ \cdots \\ {\gamma }_k={\beta }_k-{\sum }_{i=1}^{k-1}\frac{({\gamma }_i,{\beta }_k)}{({\gamma }_i,{\gamma }_i)}{\gamma }_i\\ \cdots \\ {\gamma }_n={\beta }_n={\sum }_{i=1}^{n-1}\frac{({\gamma }_i,{\beta }_k)}{({\gamma }_i,{\gamma }_i)}{\gamma }_i\end{array}$$然后每个向量除以范数进行单位化，就得到这样的一组基，这组基就称为$V$的标准正交基。以上得到标准正交基的过程，称为Gram-Smidit正交化。

定理6.3 $V$是有限维内积空间，则$V$一定存在一组标准正交基

对于$V$的一个子空间$M$，设$\dim (V)=n$,$\dim (M)=r$，任取$M$的一组基$e_1,\cdots ,e_r$，再将其扩张为$e_1,\cdots ,e_n$，按$e_1,\cdots ,e_n$的顺序进行Gram-Smidit正交化和单位化，得到${\epsilon }_1,\cdots ,{\epsilon }_n$，由正交化的表达式不难看出，${\epsilon }_1,\cdots ,{\epsilon }_r$仍然是$M$的一组基，而${\epsilon }_{r+1},\cdots ,{\epsilon }_n$全在正交补空间内。$V=M+M^{\perp }$，而$M$和$M^{\perp }$的和是直和，因此$V=M\oplus M^{\perp }$，这样，就有
$$\dim (V)=\dim (M)+\dim (M^{\perp })$$这样，给定$V$的一个向量$x$和子空间$M$，$x$就可以分解为
$$x=y+z,y\in M,z\in M^{\perp }$$就称为正交分解定理，正交分解定理在泛函分析中会详细讨论，这里暂且不作详细论述。

欧式空间上的线性变换

对称变换

从本节开始，我们讨论内积空间的上的一类特殊的线性变换。内积空间相比于线性空间，引入了一个特殊的结构——内积。因而，内积空间的线性变换相比一般的线性空间，又有自己的特点。我们先从欧式空间讨论起。

定义6.10 $V$是欧式空间，$f$是$V$上的线性变换，如果$f$满足：对任意的$x,y\in V$，都有
$$(f(x),y)=(x,f(y))$$则称$f$是$V$上的对称变换

假设$\dim (V)=n$，那么，$e_1,\cdots ,e_n$是$V$的一组标准正交基，则$f$在这组基下的矩阵有何特点呢？
假设$f$在$e_1,\cdots ,e_n$下的矩阵为$A$，$A=(a_{ij})$。则
$$(f(e_i),e_j)=(\sum _{s=1}^n{a}_{si}{e}_s,e_j)=a_{ji}$$而
$$(e_i,f(e_j))=(e_i,\sum _{s=1}^n{a}_{sj}{e}_s)=a_{ij}$$于是
$$a_{ji}=a_{ij}$$即$A$是实对称矩阵，这就是$f$称为"对称变换"的原因。

定理6.4 $V$是$n$维欧式空间，$f$是$V$上的线性变换，则$f$是对称变换的充要条件是$f$在标准正交基下的矩阵是对称矩阵

研究对称变换的特征值和特征向量，只需要研究实对称矩阵的特征值和特征向量即可。

命题6.5 $A\in M_n(R)$，则$A$的特征值全为实数

解：
$\lambda$是$A$的复特征值，$x$是$A$的复特征向量。则
$$Ax=\lambda x$$两边取共轭，就有
$$\overline{Ax}=\overline{A}\overline{x}=\overline{\lambda }\overline{x}$$再取转置
$${\overline{x}}^{T}A=\overline{\lambda }{\overline{x}}^T$$于是
$${\overline{x}}^{T}Ax=\lambda {\overline{x}}^{T}x+\overline{\lambda }{\overline{x}}^{T}x$$就有
$$\lambda =\overline{\lambda }$$因此，$\lambda$是实数

以上命题说明，对称变换或对称矩阵的特征方程全部根都在实数域上。

命题6.6 $V$是$n$维欧式空间，$f$是$V$上的对称变换，则$f$的两个属于不同特征值的特征向量正交

解：
$V$是$n$维欧式空间，$f$是$V$上的对称变换，${\lambda }_1,{\lambda }_2$是$f$的两个特征值，$x_1,x_2$是${\lambda }_1,{\lambda }_2$的特征向量。则
$$(f(x_1),x_2)=(x_1,f(x_2))={\lambda }_1(x_1,x_2)={\lambda }_2(x_1,x_2)$$从而
$$(x_1,x_2)=0$$

接下来，我们将证明，任何对称矩阵都可以对角化。

定理6.5 $V$是$n$维欧式空间，$f$是$V$上的对称变换，则存在一组基$e_1,\cdots ,e_n$，$f$在这组基下的矩阵是对角矩阵

解：
对维数$n$进行归纳，$n=1$是显然成立的，假设定理对$k$维欧式空间成立。
对$k+1$维欧式空间$V$上的对称变换$f$，取$f$的任意范数为1的特征向量$e_1$，将其张成$V$的一组标准正交基$e_1,e_2,\cdots ,e_{k+1}$，则$f$在这组基下的矩阵形如
$$B=\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& A\end{array}\right]$$$A$是对称矩阵，$M=span\{e_1\}$，则$M^{\perp }=span\{e_2,\cdots ,e_{k+1}\}$。$f$限制在$M^{\perp }$上也是对称变换，在$e_2,\cdots ,e_{k+1}$下的矩阵为$A$，则存在$M^{\perp }$的一组基${\epsilon }_2,\cdots ,{\epsilon }_{k+1}$每个都是$f$的特征向量。由数学归纳法，对$k+1$维欧式空间，结论也成立

从以上命题就可以看出，欧式空间上的对称变换，相比于一般线性空间上的线性变换，有着良好的性质：
(1)所有的特征值都在实数域内
(2)一定可以对角化
一般实线性空间上的线性变换不一定有这两条性质。

正交变换

内积空间最重要的结构是内积。能够保持内积不变的变换称为正交变换。

定义6.11 $V$是欧式空间，$f$是$V$上的线性变换，如果
$$(f(x),f(y))=(x,y)\forall x,y\in V$$则称$f$是正交变换

实际上，如果$e_1,\cdots ,e_n$是$V$的标准正交基，$f(e_1),\cdots ,f(e_n)$也是$V$的标准正交基。这是由正交变换的定义直接决定的，接下来，我们讨论正交变换在标准正交基下的矩阵，设$f$是$V$上的正交变换，$e_1,\cdots ,e_n$是$V$的标准正交基，$f$在这组基下的矩阵为$P=(p_{ij})$，则有
$$(f(e_i),f(e_i))=\sum _{s=1}^n{p}_{si}^2=1$$$$(f(e_i),f(e_j))=\sum _{s=1}^n{p}_{si}{p}_{sj}=0(i\ne j)$$也就是说，$P$的列向量组是$R^n$的一组标准正交基，在这里，内积的定义是各分量对应相乘。设
$$P=(p_1,\cdots ,p_n)$$则
$$P^{T}P=(p_i^T{p}_j)=E$$我们称这类$n$阶实方阵为正交矩阵。反过来，容易证明如果$f$在标准正交基下的矩阵为正交矩阵，则$f$是正交变换。

定理6.6 $A$是$n$阶实对称矩阵，则存在正交矩阵$P$及实对角矩阵$D$，使得$P^{T}AP=D$

解：
前面我们证明了对称矩阵都可以对角化，假设$A$的全部不同的实特征值为${\lambda }_1,\cdots ,{\lambda }_s$。不同特征空间内特征向量相互正交，因此只需要对${\lambda }_i$的特征空间的基进行Gram-Smidit正交化和正交化就可以得到$R^n$的一组标准正交基$p_1,\cdots ,p_n$，每个都是$A$的特征向量。则
$$A(p_1,\cdots ,p_n)=(p_1,\cdots ,p_n)D$$令$P=(p_1,\cdots ,p_n)$，$P$是正交矩阵，两边左乘$P^T$，即可证得结论

推论6.6 对实二次型$x^{T}Ax$，存在正交矩阵$P$，作可逆线性变换为$x=Py$后，可将二次型化为系数全为$A$的特征值的标准型

推论6.7 实二次型$x^{T}Ax$的正惯性系数是$A$的所有正特征值的重数之和，负惯性系数是$A$的所有负特征值的重数之和