矩阵论 内积空间几何表示图解

一、内积的定义

矩阵论 内积空间几何表示图解_第1张图片

例1: (对于实数而言,是否取共轭都是一样的。但是对于复数而言,为了保证所得之结果大于等于0(这样才能比较大小)就必须取一个共轭)


例2:通常,内积的定义方式并不唯一,为了给出一个较为常用的矩阵内积的定义,先来看一下共轭转置的概念。

矩阵论 内积空间几何表示图解_第2张图片

由此,矩阵A和B(V=Mn×n(F))的内积为: = tr(B*A),其中tr表示矩阵的迹,也就是对角线上元素的和。


一些基于内积的重要定义(V is an inner product space):

  1. Let x∈V, the length or norm of x is defined to be
  2. x, y ∈V is said to be 垂直 or orthogonal if =0
  3. S ⊂ V is orthogonal if =0 for all x, y ∈ S
  4. S ⊂ V is orthonormal if S is orthogonal and ||x||=1 for all x ∈ S


二、内积的一些性质

矩阵论 内积空间几何表示图解_第3张图片

有了内积的定义,我们还可以得到更泛化的Cauchy-Schwarz不等式:|| ≤ ||x|| ||y||

以及三角不等式:||x+y|| ≤ ||x|| + ||y||


三、正交化

矩阵论 内积空间几何表示图解_第4张图片

基于Thm 6.3,我们可以很容易得到如下两个推论:

矩阵论 内积空间几何表示图解_第5张图片


Thm 6.3的几何意义也是非常明确的。span(S)是由一组正交基{v1, v2, ..., vk} 张开的子空间,那么对于任何属于S的元素y,它都可以由这组正交基的线性组合得到。而组合系数就是 y 在各个 vi 上的投影。如下图(左)所示,你可以看到如果要求a在b上的投影,通常的做法就是先得到b方向的单位向量,然后让其与a做内积,就得到了a在b方向上的投影长度,但是投影还缺少一个方向(因为内积的结果是标量)所以再乘以一个b方向的单位向量,即矩阵论 内积空间几何表示图解_第6张图片,这便是Thm 6.3所表达的意思。

矩阵论 内积空间几何表示图解_第7张图片

推论1的意思是说,如果正交基{v1, v2, ..., vk}都是单位向量,那么系数中分母的部分就等于1,所以组合系数就变成了(或1>)。例如上图(右)所示为一个三维空间,我们知道它的一组orthonormal基底是{e1=(1,0,0), e2=(0,1,0), e3=(0,0,1)},那么如果我们想用这组基底表示向量a=(6,2,1),其实就可以用

a = 1>e1+2>e2+3>e3=6e1+2e2+1e3

来表示,可见有orthonormal基底的话表示方法是非常简单明了的。可见得到orthonormal基底是非常重要的,而得到orthonormal基底的方法就是“ 施密特正交化(Gram–Schmidt process)”,这部分内容可以参考(http://blog.csdn.net/baimafujinji/article/details/6479143)。


四、正交补


矩阵论 内积空间几何表示图解_第8张图片


矩阵论 内积空间几何表示图解_第9张图片

定理6.6的几何意义也是非常明确的,如下图所示。u是属于W空间的,z是属于W的正交补空间的,而且W和其正交补空间都是子空间。一定存在u和z使得y=u+z。

矩阵论 内积空间几何表示图解_第10张图片


定理6.6有诸多非常有用的应用,其中之一就是给出了下面这个“最佳逼近原理”,在讨论最小二乘问题时,我们还会再用到这个最佳逼近定理。


最佳逼近原理的叙述乍看起来有些抽象,当它的几何意义其实是非常直观的,如下图所示。

矩阵论 内积空间几何表示图解_第11张图片

最佳逼近原理的证明也非常容易,只要使用毕达哥拉斯定理(也就是勾股定理)即可。

矩阵论 内积空间几何表示图解_第12张图片


五、伴随算子(adjoint operator)


基于Thm 6.8,我们可以证明下述Thm 6.9是正确的。

矩阵论 内积空间几何表示图解_第13张图片

既然满足条件的T*是存在的,那么下面我们就给它一个称呼。

矩阵论 内积空间几何表示图解_第14张图片


六、伴随算子与矩阵共轭转置的关系


在本文最开始,我们就已经介绍过矩阵A的共轭转置A*的意思。现在我们有介绍了算子T的伴随随着T*的概念。显然它们的标记符号都是一样的,这是否暗示二者之间存在着某种联系呢?下面这个定理就回答了这个问题。


这个定理表明:算子T的伴随随着T*(相对于orthonormal基底β)的矩阵表示 就等于 算子T(相对于orthonormal基底β)的矩阵表示的共轭转置。根据这个定理我们很容易得到如下推论:(LA)*=LA* 。更重要的是这个定理还为寻找T的T*提供了一种途径。


七、T*的运算性质

  1. (T+U)*=T*+U*
  2. (cT)*=
  3. (TU)*=U*T*
  4. T**=T
  5. I*=I

八、找最小解的问题(Find the minimum solution of Ax=b)


Given a consistent system Ax = b, A ∈ Mm×n, find a solution S so that ||S|| ≤ ||x|| for any x satisfying Ax = b.

一个可行的方法是找到Ax=b的任意一个解x,将其投影到Range(A*)子空间上,得到S,可以证明S就是唯一的最小解,如下图所示。

矩阵论 内积空间几何表示图解_第15张图片

下面我们来证明S是就是最小的解。证明:易知 x=S+v, v∈N(A), S∈Range(A*)

x=S+v ⇒ Ax = A(S+v) ⇒ b = AS + Av ⇒(因为v∈N(A),所以Av =0 ) b = AS,所以S是一个解。

Let x be any solution of Ax = b ⇒ x-S ∈ N(A) ⇒ ∃x0 ∈ N(A) s.t. x-S = x0 ⇒ x = S+x0

由于S垂直于x0,所以根据勾股定理,||x||2=||S||2+||x0||2≥||S||2,所以S是最小解。

接下来证明S是唯一的。证明:Let x1 be another solution of Ax = b, let s1 be 投影,s.t. x1 = s1 + v1,

where s1 ∈ Range(A*) and s1 ∈ N(A)。

因为As = b, As1 = b,所以 s - s1 ∈ N(A)=W。并且 s - s1 ∈ Range(A*)=W。所以s - s1 ∈ W∩W={0},即s = s1

结论得证。


实际计算时,我们还可以采用一种更高效的方法以略去上述方法中的投影动作。如果s是一个解,则表示As=b。另一方面,s ∈ Range(A*),于是必然有一个x1使得 A*x1= s。两边同乘一个A得到AA*x1= As。又因为As=b,于是有AA*x1=b。

由此可知,我们可以先找满足AA*x1=b的任意解x1,则最终要的解就是 s = A*x1。这个方法因为省去了做投影的动作所以是更加高效的。

Remark:AA*∈Mm×m(F),if rank(AA*)=m, then AA* 是可逆的,所以此时有公式解 s = A*(AA*)-1b。


(本文完)


本文主要根据台湾交通大学开放课程线性代数(莊重 特聘教授主讲)之授课内容整理,并参考以下书籍:

【1】S.H. Friedberg, A.J. Insel, L.E Spence, 4th edition, Linear Algebra, Prentice-Hall, 2003

【2】David C. Lay. 刘深泉,等译. 线性代数及其应用(原书第3版),机械工业出版社,2005

你可能感兴趣的:(数学,矩阵论,内积空间)