线性代数及其应用 | 第六章 正交性和最小二乘法

第一章 线性代数中的线性方程组

第六章 正交性和最小二乘法

1.1 线性方程组

在这里插入图片描述
系数矩阵;增广矩阵

对增广矩阵的行初等变换

线性代数及其应用 | 第六章 正交性和最小二乘法_第1张图片
行等价:两个矩阵是行等价的,若其中一个矩阵可以经一系列行初等变换成另一个矩阵。
在这里插入图片描述

解集的存在性与唯一性问题

在这里插入图片描述

1.2 行化简与阶梯型矩阵

定义:阶梯型

线性代数及其应用 | 第六章 正交性和最小二乘法_第2张图片
线性代数及其应用 | 第六章 正交性和最小二乘法_第3张图片

定理1:简化阶梯形矩阵的唯一性

在这里插入图片描述

定义:主元位置 主元列

在这里插入图片描述
对应于主元列的变量:基本变量
其他变量(没有先导元素):自由变量

定理2:存在于唯一性定理

线性代数及其应用 | 第六章 正交性和最小二乘法_第4张图片
线性方程组不相容:推出来0=b,没有解

1.3 向量方程

列向量:仅含一列的矩阵
数乘向量 二维和三维空间中的向量的几何表示 平行四边形法则(向量加法),减法:减向量指向被减向量
线性代数及其应用 | 第六章 正交性和最小二乘法_第5张图片

向量的线性组合:向量方程

在这里插入图片描述

向量方程和线性方程组相同解线性代数及其应用 | 第六章 正交性和最小二乘法_第6张图片

向量组张成

线性代数及其应用 | 第六章 正交性和最小二乘法_第7张图片

1.4 矩阵方程Ax=b

线性代数及其应用 | 第六章 正交性和最小二乘法_第8张图片
矩阵A的各列是向量,拆开和向量方程其实一样:

定理3:三种观点看线性方程组:矩阵方程、向量方程或线性方程

线性代数及其应用 | 第六章 正交性和最小二乘法_第9张图片
在这里插入图片描述

定理4:本章最有用的命题之一

线性代数及其应用 | 第六章 正交性和最小二乘法_第10张图片

矩阵-向量积

在这里插入图片描述

1.5 线性方程组的解集

齐次线性方程组 平凡解和非平凡解

线性代数及其应用 | 第六章 正交性和最小二乘法_第11张图片

非齐次线性方程组的解

在这里插入图片描述
相当于Ax=0的解空间平移了向量p得到。

1.7 线性无关

定义:线性组的线性无关和线性相关

线性代数及其应用 | 第六章 正交性和最小二乘法_第12张图片

矩阵各列的线性无关

线性代数及其应用 | 第六章 正交性和最小二乘法_第13张图片

观察两个向量的线性无关

在这里插入图片描述

定理7:观察多个向量(线性相关集)的特征

在这里插入图片描述

定理8:扁的矩阵总是线性相关

在这里插入图片描述
变量个数>方程个数,总是存在自由变量,必有非平凡解

定理9:零向量的线性相关性

在这里插入图片描述
让零向量的系数不为0即找到了一组非平凡解。

1.8 线性变换

基本概念

线性代数及其应用 | 第六章 正交性和最小二乘法_第14张图片
线性代数及其应用 | 第六章 正交性和最小二乘法_第15张图片

线性变换

  1. 矩阵的性质
    在这里插入图片描述
  2. 线性变换
    在这里插入图片描述
    矩阵变换都是线性变换。
    线性变换保持向量的加法运算和标量乘法运算
  3. 推论
    线性代数及其应用 | 第六章 正交性和最小二乘法_第16张图片

1.9 线性变换的矩阵:如何寻找矩阵A

定理10

线性代数及其应用 | 第六章 正交性和最小二乘法_第17张图片
这里A称为线性变换T的标准矩阵。

存在与唯一性问题:满射和单射

在这里插入图片描述
在这里插入图片描述

定理11

在这里插入图片描述
仅有平凡解时Ax=0才只有一个解

定理12

在这里插入图片描述

第二章 矩阵代数

2.1 矩阵运算

定理1 加法 标量

线性代数及其应用 | 第六章 正交性和最小二乘法_第18张图片

定义

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

矩阵乘积法则

在这里插入图片描述
在这里插入图片描述

定理2 矩阵乘法性质

线性代数及其应用 | 第六章 正交性和最小二乘法_第19张图片

定理3 矩阵转置

线性代数及其应用 | 第六章 正交性和最小二乘法_第20张图片
在这里插入图片描述

2.2 矩阵的逆

线性代数及其应用 | 第六章 正交性和最小二乘法_第21张图片
因为可逆被认为是一种优良的性质,所以不可逆矩阵很奇异。

定理4 可逆矩阵计算公式

在这里插入图片描述

定理5 可逆矩阵方程的解

在这里插入图片描述

定理6 可逆矩阵的性质

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

初等矩阵

线性代数及其应用 | 第六章 正交性和最小二乘法_第22张图片
在这里插入图片描述

定理7

在这里插入图片描述

求A逆的算法

在这里插入图片描述

2.3 可逆矩阵的特征

定理8

线性代数及其应用 | 第六章 正交性和最小二乘法_第23张图片
在这里插入图片描述

可逆线性变换

线性代数及其应用 | 第六章 正交性和最小二乘法_第24张图片

2.4 分块矩阵

分块矩阵乘法

线性代数及其应用 | 第六章 正交性和最小二乘法_第25张图片

定理10 AB的列行展开

线性代数及其应用 | 第六章 正交性和最小二乘法_第26张图片

2.5 矩阵因式分解

LU分解

线性代数及其应用 | 第六章 正交性和最小二乘法_第27张图片
A可以化简为一个下三角矩阵*和A等价的阶梯型矩阵。

LU分解算法

线性代数及其应用 | 第六章 正交性和最小二乘法_第28张图片

2.8 Rn的子空间

在这里插入图片描述
在这里插入图片描述
子空间对加法和标量乘法的运算是封闭的。

矩阵列空间与零空间

在这里插入图片描述
在这里插入图片描述

定理12:零空间是子空间

在这里插入图片描述

子空间的基

在这里插入图片描述

定理13

在这里插入图片描述

2.9 维数与秩

线性代数及其应用 | 第六章 正交性和最小二乘法_第29张图片

维数

在这里插入图片描述
在这里插入图片描述

秩和维数的关系

在这里插入图片描述

秩定理

在这里插入图片描述

定理15 基定理

在这里插入图片描述

可逆矩阵定理

线性代数及其应用 | 第六章 正交性和最小二乘法_第30张图片

6.1 内积、长度和正交性

内积:

线性代数及其应用 | 第六章 正交性和最小二乘法_第31张图片
线性代数及其应用 | 第六章 正交性和最小二乘法_第32张图片

定理1:内积性质

线性代数及其应用 | 第六章 正交性和最小二乘法_第33张图片

长度:向量的长度的平方=自身与自身的内积

在这里插入图片描述

向量的距离

在这里插入图片描述
注:向量减法,减向量指向被减向量

正交向量

在这里插入图片描述

定理2:勾股定理

在这里插入图片描述

正交补

在这里插入图片描述

定理3:矩阵行向量空间和列向量空间的正交补

在这里插入图片描述

6.2 正交集

正交向量集

在这里插入图片描述

定理4:正交向量集的线性无关性

在这里插入图片描述

正交基

在这里插入图片描述

定理5:正交基下计算系数

在这里插入图片描述

正交投影

线性代数及其应用 | 第六章 正交性和最小二乘法_第34张图片
在这里插入图片描述
在这里插入图片描述

单位正交集 单位正交基

在这里插入图片描述

定理6 单位正交基矩阵的性质

在这里插入图片描述

定理7:长度不变性 内积不变性

线性代数及其应用 | 第六章 正交性和最小二乘法_第35张图片

6.3 正交投影

定理8:正交分解定理

线性代数及其应用 | 第六章 正交性和最小二乘法_第36张图片
线性代数及其应用 | 第六章 正交性和最小二乘法_第37张图片

正交投影的几何意义

线性代数及其应用 | 第六章 正交性和最小二乘法_第38张图片

定理9:最佳逼近定理 正交投影的性质

线性代数及其应用 | 第六章 正交性和最小二乘法_第39张图片

定理10:基为单位正交基时的简化形式

线性代数及其应用 | 第六章 正交性和最小二乘法_第40张图片

6.4 格拉姆-施密特方法:构造正交基或标准正交基的算法

定理11:格拉姆-施密特方法

线性代数及其应用 | 第六章 正交性和最小二乘法_第41张图片
依次减去在已经构造好的正交基上的投影向量,最终张成的空间却不变。标准正交基只需要单位化所有v。

矩阵的QR分解

在这里插入图片描述在这里插入图片描述
Col是A的列向量所张成的空间。为了得到Q,常常需要对A左乘一系列正交矩阵(由格拉姆,施密特方法构造得出)得到一个上三角矩阵(Q),这个过程类似于A左乘一系列初等矩阵最后得到A的LU分解。

6.5 最小二乘问题

在这里插入图片描述
线性代数及其应用 | 第六章 正交性和最小二乘法_第42张图片

最小二乘法的解

在这里插入图片描述

定理14

在这里插入图片描述

定理15:A的列不正交时的解

在这里插入图片描述

6.7 内积空间

内积空间

线性代数及其应用 | 第六章 正交性和最小二乘法_第43张图片

长度、距离和正交性

线性代数及其应用 | 第六章 正交性和最小二乘法_第44张图片
在这里插入图片描述

两个不等式

线性代数及其应用 | 第六章 正交性和最小二乘法_第45张图片
线性代数及其应用 | 第六章 正交性和最小二乘法_第46张图片

你可能感兴趣的:(算法基础题目)