线性规划-概念与公式总结

linear algebra

用空间的语言表达向量、矩阵和行列式

向量与空间

基底

• 线性空间是一个只有原点的空间，没有坐标，没有刻度。所以在线性空间中只能做向量的加法与数乘（数字与向量相乘）运算。
• 但是为了能够更好的描述有向线段，所以需要基底。所以作为基准的一组向量作为基底，这一组向量中的的每个向量称为基向量。
• 基底的选取条件：
  • 当前空间中的任何向量$v$都可以表示为：
    $$v=x_i{e}_1+...+x_n{e}_n$$
  • 并且这种表示方法是唯一的。
• 线性组合：
  • 将可以用数$u_1,...,u_n$表示出来的向量$u_1{e}_1+...+u_n{e}_n$称为$e_1,...,e_n$的线性组合表示。

维数

• 维数 = 基向量个数 = 坐标的分量数

坐标

• 只有在指定基底的情况下，才有坐标。

矩阵与映射

暂时定义

• 当矩阵行数与列数一样时，表示的是正方矩阵。简称为方阵。
• 矩阵乘积
  $$略$$
• 矩阵就是‘平直’关系
  • 满足$f(x+y)=f(x)+f(y)$以及$f(cx)=cf(x)$的映射f，称为线性映射。（其中x，y为维度相同的向量，c为常数，f(x)的值为向量）
  • 因此，从上面的介绍中可以得到，乘以矩阵的运算就是线性运算。反过来说，任意的线性映射f一定可以改写成’乘以某矩阵的形式‘
  • 矩阵就是用坐标表示的线性映射。
    • 怎么理解上面这段话，假设$e_1=(1,0,0...,0{)}^T...e_n=(0,0...1{)}^T$看做是输入，
    • 将每个输入经过f(线性映射)后得到的输出记为$a_i=f(e_i)$。那么，对于输入$x=(x_1,..,x_n{)}^T$来讲，对应的输出就是$f(x)=x_1{a}_1+...+x_n{a}_n$.其中a表示向量。
    • 则将a向量顺序排列后，构成矩阵A=(a_1,…,a_n)。这样的话就可以用矩阵A表示f(x)。
    • 则f(x)=Ax,因此可以说矩阵就是用坐标来表示的线性映射。

用矩阵来表达各种关系

略

矩阵就是映射

• $y=Ax$,也就是说，制定了矩阵A，就确定了从向量到另外一个向量的映射。实际上，这才是矩阵最重要的机能。
• 对于矩阵A
  $$\left(\begin{array}{cc}1& -0.3\\ 0.7& 0.6\end{array}\right)\text{\hspace{1em}(1)}$$
  如果使用A矩阵对某个向量空间进行线性映射，则就相当于KaTeX parse error: \tag works only in display equations
  被移动到了KaTeX parse error: \tag works only in display equations
  同时，KaTeX parse error: \tag works only in display equations被移动到KaTeX parse error: \tag works only in display equations
• 所以对上面的总结：
  • 矩阵的每一列分别是对基向量的映射，例如，矩阵第一列是对第一维基向量的映射，也就是第一维基向量到达的终点。矩阵第二列是对第二维基向量的映射。

矩阵的乘积=映射的合成

• 基本性质,对于数c,$c^{,}$，向量x,矩阵A，B，C，有以下各式成立：
  • $(cA)x=c(Ax)=A(cx)$
  • $(A+B)x=Ax+Bx$
  • $A+B=B+A$
  • $(A+B)+C=A+(B+C)$
  • $(c+c^{,})A=cA+c^{,}B$
  • $(c{c}^{,})A=c(c^{,}A)$
  • $A(B+C)=AB+AC$
  • $(A+B)C=AC+BC$
  • $(cA)B=c(AB)=A(cB)$
• 向量是一种矩阵么？ 是的
• 不随坐标变化而改变的值，称为标量。

矩阵的乘方 = 映射的迭代

• 这里的矩阵一定是方阵。
• 运算性质：
  • $(A+B{)}^2=A^2+AB+BA+B^2$
  • $(A+B)(A-B)=A^2-AB+BA+B^2$
  • $(AB{)}^2=ABAB$
• $A^0=I$,其中Ｉ是单位矩阵。一般来说含有０特征值的矩阵的０次方都是没有意义的。

零矩阵，单位矩阵，对角矩阵

• 零矩阵
  • 所有元素都是０的矩阵称为零矩阵。记为Ｏ。
  • 零矩阵表示的映射是将所有得点都映射到原点的映射。
  • A不等于０，Ｂ不等于０，也有可能得到ＢＡ＝Ｏ．
  • Ａ不等于０，也有可能得到$A^2=0$
• 单位矩阵
  • 方阵中，如果除了’\‘(从左上到右下)方向的对角元素是1，其余元素都是0，则该矩阵称为单位矩阵，记为I。
  • 单位矩阵表示的映射是什么都不做的映射，从中也可以理解单位矩阵为什么是对角线为1的矩阵。
• 对角矩阵
  • 在方阵中，’\‘（从左上到右下）方向的对角线上的值称为对角元素,对角元素以外的称为非对角元素。
  • 定义：非对角元素全部为0的矩阵称为对角矩阵。
  • 对角矩阵表示的映射是“沿着坐标轴伸缩”，其中对角元素就是各轴伸缩的倍率。
  • 对角矩阵的乘方与乘法都是直接对对角元素做操作。
  • 对角矩阵的概念与坐标系的选取有关。在线性空间中的相同线性映射，在不同的坐标系中，可能会有不能的映射矩阵，例如对角矩阵，非对角矩阵。既然是相同的线性映射，则对角矩阵计算简单，所以一般选取适当的坐标系，将线性映射等同于对角矩阵。因此，可以说对角矩阵与坐标系相关。
  • 零矩阵以及单位矩阵与坐标系无关。单位矩阵$f(x)=x$,零矩阵$f(x)=0$
  • '/'方向的对角矩阵表示为反对角矩阵。

逆矩阵 = 逆映射

• 定义：对于方阵A，它的逆映射对应的矩阵称为A的逆矩阵。记为$A^{-1}$,(逆矩阵强调方阵)
• 对于任意的向量x，若有$Ax=y$,则有$A^{-1}y=x$,反之亦然。
• $A{A}^{-1}=A^{-1}A=I$
• 把向量压扁成一点（扁平化）的映射所对应的逆矩阵不存在。
• 逆矩阵唯一存在：
  • $Z=A^{-1}A{A}^{\prime -1}=(A^{-1}A)A^{\prime -1}=A^{\prime -1}$
  • $Z=A^{-1}A{A}^{\prime -1}=A^{-1}(A{A}^{\prime -1})=A^{-1}$
  • 所以，$A^{\prime -1}=A^{-1}$，所以逆矩阵一旦存在就是唯一的。
• 当Ａ是矩阵时，ＸＡ＝Ｉ与ＡＸ＝Ｉ是等价的。具体理解参考４５页。
  • $XA=I$,表示的是已知ｙ，满足$y=Ax$的ｘ只能有一个。
  • $AX=I$,表示只要选择合适的出发点ｘ，通过ｙ＝Ａｘ，无论什么样的目标点都能达到。
• 基本性质
  • $(A^{-1}{)}^{-1}=A$,将Ａ的逆再逆回去，还是Ａ
  • $(AB{)}^{-1}=B^{-1}{A}^{-1}$,对于先Ｂ后A的映射的点，要想还原回去，首先要逆一次A，然后再逆一次B.
  • $(A^k{)}^{-1}=(A^{-1}{)}^k$,对于经过A映射k次的点，还原时，也要逆k次。
  • 当要证明Y是X的逆矩阵，只要证明XY=I即可。
• 对角矩阵的情况：
  • 对角矩阵的对角元素表示的是对每个坐标轴的伸缩，所以它的映射的还原就是每个坐标追相应的伸缩1/a倍，要注意的是，在对角元素其中一个元素为0时，这样的映射就无法找到逆映射。这种情况下，A变成了一种扁平化映射。

分块矩阵

• 定义：以水平线和竖直线将矩阵分割成较小的矩阵，这些较小的矩阵组成一个矩阵，这个矩阵就是分块矩阵
• 分块矩阵的运算主要就是将每个小矩阵当做元素来处理。
• 分块对角矩阵：
  • 如果分块矩阵的’'方向对角线（主对角线）上的区块都是方阵，并且非对角线上的矩阵都是零矩阵。则称这样的矩阵为分块对角矩阵
  • 参照对角元素的概念，我们称$A_1,A_2,A_3,A_4$为对角区块。
  • 分块对角矩阵也是与坐标系选取有关的概念。

用矩阵表示各种关系

• 高阶查分与高阶微分（P53）
• 消除常数项（P53）

坐标变换与矩阵

• 坐标变换：
  • 坐标变换可以用“乘以方阵A”的形式表示，这里的A存在逆矩阵。
  • 反之，乘以某个存在逆矩阵的方阵A，也可以用坐标变换来解释。
• 用矩阵表示坐标变换
  • 一般来说，坐标变换都可以表示为‘乘上一个矩阵’的形式
  • 坐标变换时，作为向量实体的有向线段是不变的，而其坐标表示是变换的。

转置矩阵

• 对于矩阵A，将其行列互换得到的矩阵，就称为A的转置矩阵，记为$A^T$.
• 转置的运算顺序与乘方运算同级别。$(AB{)}^T=B^T{A}^T$,$(A^T{)}^T=A$.$(A^{-1}{)}^T=(A^T{)}^{-1}$.
• 共轭转置：
  • 共轭表示改变复数虚数部分的符号得到的复数，ｚ=3+3i -> z=3-3i
  • 定义：　$A^{\ast }={\overline{A}}^T$,其中$\overline{A}$表示将Ａ的各个元素取（复）共轭得到的矩阵。
  • 共轭转置的性质：
    • $(A^{\ast }{)}^{\ast }=A$
    • $(AB{)}^{\ast }=B^{\ast }{A}^{\ast }$
    • $(A^{-1}{)}^{\ast }=(A^{\ast }{)}^{-1}$

行列式与扩大率

行列式　＝　体积扩大率

• 一般情况下，对于ｎ阶方阵Ａ，‘ｎ维版本的体积’的扩大率，就是行列式det A.
• 2阶方阵$Ａ＝(a_{\mathrm{１}}，a_{\mathrm{２}})$的行列式也可以解释为有向量$a_1,a_2$围成的平行四边形的面积。主要就是面积为１的正方形，经过Ａ的变换之后，得到的就是该平行四边形。
• 在对图像进行镜像翻转变换的情况下，可以用负的扩大率来表示。
• 图形扁平化的情况下，体积扩大率为０．
• 体积扩大率的说法有什么用？
  • 在多重积分的换元法中，行列式起到了关键的作用。
  • 在研究概率密度函数根据随机变量的变化而产生的变化时，是要依靠行列式的，
  • 行列式可以用来检验是否发生了退化。
• 非方阵的情况下，没有行列式的定义。
• 压缩扁平化是指把不同的点映射到同一点的意思。这与detA = 0是等价的。

行列式的性质

• 简单性质
  • det I = 1,因为保持不变，所以变化率是１．
  • det(AB) = (det A)(det B)，首先映射Ｂ造成了det B倍的变化，接下来映射Ａ带来det A倍的变化。
  • $(detA)(det{A}^{-1})=det(A{A}^{-1})=detI=1$
  • $det{A}^{-1}=1/(detA)$
  • 当det A = 0时，$A^{-1}$不存在。
  • 当矩阵中的两个列或者行完全一样，或者某一列或者行为０，则该矩阵的行列式为０．
  • 对角矩阵的行列式为对角矩阵中各个对角元素的乘积。
• 有用的性质
  • 行列式中，把某一列乘以常数，加到另一列上，行列式的值不变。
  • 对角线下方全部都是０元素的矩阵，称为上三角矩阵。其矩阵的行列式为对角线元素的乘积。
• 转置矩阵的行列式
  • 转置矩阵的行列式与原矩阵的行列式相等。即$det(A^T)=detA$
  • 换言之，行列互换之后，行列式的所有性质依然成立。
• 关键性质
  • $det(c{a}_1,a_2,...,a_n)=cdet(a_1,a_2,...,a_n)$
  • $det(a_1+a_1^{,},a_2,...,a_n)=det(a_1,a_2,...,a_n)+det(a_1^{,},a_2,...,a_n)$
  • $det(cA)=c^{n}detA$
  • det(A+B) != detA+detB.
    • 令$Ａ=({ａ}_1,a_2)$和$B=(b_1,b_2)$
    • $det(A+B)=det(a_1+b_1,a_2+b_2)=det(a_1+b_1,a_2)+det(a_1+b_1,b_2)=det(a_1,a_2)+det(b_1,a_2)+det(a_1.b_2)+det(b_1,b_2)=detA+det(b_1,a_2)+det(a_1,b_2)+detB$
  • 行列式的正负号代表了图像的镜像翻转，于是，交换两列会改变行列式的正负，这种性质称为交替性。

行列式的计算方法

• ｎ阶行列式的值等于它的任意一行（列）的元素与其对应的代数余子式的乘积的和。
• ${\Delta }_{ij}=(-1{)}^{i+j}{\Delta }_{ij}^{,}$,其中，$\Delta$表示代数余子式，ｉ表示行数，ｊ表示列数，其中${\Delta }^{,}$表示余子式，是除去某一个元素的所在行列后剩余矩阵的部分组成的矩阵。
  这种展开方式被称为行列式按行（列）展开或拉普拉斯展开。
• 逆矩阵公式
  • 伴随矩阵定义：　
    $$adjA=\left(\begin{array}{ccc}{\Delta }_{11}& {\Delta }_{21}& {\Delta }_{31}\\ {\Delta }_{12}& {\Delta }_{22}& {\Delta }_{32}\\ {\Delta }_{13}& {\Delta }_{23}& {\Delta }_{33}\end{array}\right)\text{\hspace{1em}(1)}$$
    注意这里面每个元素都是代数余子式，而且注意下标行列都是相反的。
• 如果$(adjA)A$，则结果的每个对角元素都等于det A,非对角元素都为０。结果证明看Ｐ94.因此：
  $$(adjA)A=\left(\begin{array}{ccc}detA& 0& 0\\ 0& detA& 0\\ 0& 0& detA\end{array}\right)=(detA)I$$
  因此，可以得到：
  $$A^{-1}=\frac{1}{detA}adjA$$
  从这个式子中可以看出如果$detA$不等于０，则$A^{-1}必然存在$。

秩、逆矩阵、线性方程组　—　溯因推理

问题设定：逆问题

• 这类已知结果ｙ去推测原因ｘ的问题，称为逆问题。考虑从原因x出发去预测结果ｙ，这样的问题称为顺问题。
• 所谓的逆问题，其实就是线性方程组。

良性问题（可逆矩阵）

可逆性与逆矩阵

• 令y=Ax，其中ｘ，ｙ具有相同的维数，则Ａ是方阵。如果Ａ存在逆矩阵，则
  $$x=A^{-1}y$$
  上面的公式中，存在逆矩阵的方阵Ａ，称为正则矩阵（可逆矩阵，非奇异矩阵），而不是正则矩阵的，则称为奇异矩阵。

线性方程组的解法（系数矩阵可逆）

• 用消元法解多元一次方程组
  • 通过不断的变量替换的方法消解变量的个数，反复使用这个原理求解问题。
• 用分块矩阵表示线性方程组的求解过程
  • 主要就是通过不断的进行线性变换，每行的开始变为1，然后不断的进行消元，可以简称为消元法。
• 只用分块矩阵求解线性方程组 —Gauss-Jordan法
  • 主要就是将每行乘上一个数，或者乘上一个数后加到另一个行上。最终的目的是将矩阵变成单位矩阵。如果在变换时，对角线上的元素不能变成1，而是为0，则可以换行来处理。

逆矩阵的计算方法

• 线性方程组的解法
  • 如果线性方程组能够求解，则逆矩阵一定能够求解。
  • Ax = I,当求解A的逆矩阵时，只要求解这个方程组时，就可以得到A的逆矩阵x。
• 应用分块矩阵表示的解法
  • 形如$(A|I)=(I|X)$ 区块X就正是我们要求的$A^{-1}$
    • 在Ａ的右边添上单位矩阵Ｉ
    • 计算步骤：运用线性方程组的笔算法中的变形方法，将左侧区块（最初的A部分）变成I
    • 完成后，右侧区块（最初的Ｉ部分）就是$A^{-1}$

初等变换

• 上面的逆矩阵的求法主要可以总结为：
  • 将某行乘以C(c不等于０)
  • 将某行的ｃ倍加到另一行上。
  • 交换两行
• 以上的操作都可以用‘乘上一个矩阵表示’，这些操作称为初等（行）变换。
• 了解上面的内容后，无论是解线性方程组还是逆矩阵，都可以用现行变换的方式理解。
• 对于矩阵(A|y),只要做成矩阵，就可以变成(I|ｓ)的形式，用公式表达就是：
  $$P(A|y)=(I|s)$$
• 将上面的区块展开，即
  $$PA=I$$
  $$Py=s$$
• 由第一式可知$P=A^{-1}$,由第二式可知$X=P=A^{-1}$
• 如果方阵A可逆，则可以通过初等变换得到单位矩阵I。反之，若A不可逆（奇异），则不能。
• 初等变换与行列式的关系
  • 将i行乘以c，行列式值为原来的c倍
  • 将j行乘以c加到第i行，行列式值不变。
  • 交换i，j行，行列式值的正负号改变。

恶性问题

恶性问题实例

• 线索不足的情况(矮矩阵、核)
  • 首先考虑在$y=Ax$中，y的维数比x的维数低，也就是A是矮矩阵。
  • 直观上，可以理解x所在的高维通过A的映射到y的低维。因此对应了"压缩扁平化"的操作。实质上就是说会有多个x被转移到同样的y上。
  • 对于给定的A，在映射的作用下，满足$Ax=0$的x的集合称为A的核，记为Ker A。
• 怎么理解压缩扁平化操作是不可逆的?
  • 从方程$Ax=o$来看，可以理解为什么要知道x在Ker A中的位置是不可能的。但是对于$y=Ax$中y不为o的情况，该怎么理解?
  • 令x和$x^{,}$为Ker A上的两点，所以$Ax=A{x}^{,}=o$，可以得到$A(x-x^{,})=o$,于是我们知道$z=x-x^{,}$一定位于Ker A中，反之，去除Ker A中的某向量z，令$x^{,}=x+z$，可以得到$A{x}^{,}=Ax+Az=Ax+o=Ax$,这也就说明了为什么在Ker A中平行方向上的点无法确定具体位置。
• 可以认为在"压缩扁平化"变换的过程中丢失了一部分信息么?
  • 答案是是的。Ker A中的具有平行关系的点的相关信息倍丢掉了。
• 线索过剩的情况
  • 考虑当y的维数比较大时的情况，也就是A是长矩阵。因为是从低维到高维的映射，所以不可能把目标的3维空间全部覆盖。
  • 对于给定的A，将x进行各种不同的变换，在A的作用下，y=Ax构成的集合称为A的像，记为Im A。
  • 换言之，像就是把原空间通过A变换到目标空间中时对应的领域。
• 线索的个数正好(奇异矩阵)
  • 可能出现跟"线索不足"的情况一样，在知道y的情况下不能从候选中唯一确定x。线索有冗余。也就是说方阵A可以线性变换成矮矩阵的样子。即某一行或几行全部为0.
• 所以，综上要想知道问题是良性的还是恶性的，仅凭矩阵的大小是不能轻易下结论的，本质在于Ker A和像Im A是什么样子

问题的恶劣程度 — 核与像

• 对于上面的讨论总结一下:
  • 对于相同的结果y，引起它的原因x是唯一的吗
  • 无论什么样的结果y，都可以找到导致它的相应的原因x吗
• 当前一个会带是肯定时，y=Ax是单射。当后一个回答是肯定时，映射y=Ax是满射。当二者同事成立时，映射y=Ax是双射。
• 利用Ker A 和 Im A 的概念，正式的表述一下上面的内容:
  • Ker A 仅包含原点0 <-> 映射是单射
  • Im A与目标空间(值域)一致 <-> 映射为满射。
• 以上是对线性方程组的解的存在性与唯一性的解答。

维数定理

• 对于m * n 矩阵A，有
  $$dimKerA+dimImA=n$$
  其中dim X表示X的维数。
• 对上式稍加变形，可得$n-dimKerA=dimImA$，从直观上看，A是从n维空间到m维空间的映射，那么从原来的n维中，压缩掉Ker A对应的维数，剩下的自然就是Im A的维数。
• 由此可以得到:
  • 若$ m < n $ （A是矮矩阵），则A不会是单射。(Im A是目标m维空间的一部分，所以$dimImA<=m$，这时假设m < n，可以得到$dim Im A < n $，根据维数定理，有$dim Ker A>0$)
  • 若$m>n$(A是长矩阵)，则A不会是满射。(维数一定不小于0，所以对于Ker A，我们有dim Ker A>=0.于是，根据维数定理，有$dimIm<=n$，进而假设$ m > n $，就可以推出$ dim Im A
• 如何理解dim Ker A以及dim Im A?
  • 线性子空间定义: 对于线性空间，若V内的区域w满足以下条件，则称w是v的线性子空间:
    • 对于w中的向量x和$x^{,}$,它们的和也在w内。
    • 对于w中的向量和数c，数量乘积cx也在W内。
  • 因此，Ker A和Im A等也构成线性子空间。具体证明见P123.
  • 基底:向量空间W内的任意向量都可以用这组基底表示。并且表示方式是唯一的。
• 如何证明维数定理?
  • 具体证明参见P124.

用式子表示’压缩扁平化’变换(线性无关，线性相关)

• 定义: 所谓的’压缩扁平化’就是把不同的x和$x^{,}$ 变换到相同的y上。
  • 令$x=(x_1,...,x_n{)}^T$以及$x^{,}=(x_1^{,}，...,x_n^{,})$，$A=(a_1，...,a_n)$。这样一来$Ax=A{x}^{-1}$就可以表示是为:
    $$x_1{a}_1+...+x_n{a}_n=x_1^{,}{a}_1+...+x_n^{,}{a}_n$$
• 对于压缩扁平化的映射，在x不等于$x^{,}$的前提下，使得x，$x^{,}$是存在的，这种情况下，称$a_1，...，a_n$为线性相关的。反之不是线性相关的情况，称$a_1，...，a_n$为线性无关的。
  • A的各个列向量线性相关 = ‘压缩’
  • A的各个列向量线性无关 = ‘不压缩’
• 另外，对于数$u_1，...，u_n$，当
  $$u_1{a}_1+...+u_n{a}_n=o$$
  成立时有$u_1=...=u_n=0$,则称$a_1，...，a_n$为线性无关。
• 联想 -> 基底:基底必须线性无关 -> 维数: 如果最多能取得n个线性无关的向量，则空间的维数为n。

线索的实际个数

• 这节主要是讨论目标空间全体是否能够倍全部覆盖到。
• 秩的定义: 令A是m * n矩阵，也就是说把n维向量x变成m维向量$y=Ax$的这一映射，这里我们把像Im A的维数dim Im A命名为矩阵A的秩，记为rank A。
  这里就可以用rank A代替dim Im A维数定理。
• 秩与核、像与单射、满射
  • rank A = n(秩与原空间(定义域)的维数相等) <-> A是单射
  • rank A = m(秩与目标空间(值域)的维数相等) <-> A是满射a
• 秩的基本性质:
  • 对于m * n 矩阵A，有以下的性质:
    • rank A <= m
    • rank A <= n
  • 在乘以可逆矩阵后，维数不发生变化，也就是说如P，Q可逆，则
    • rank(PA) = rank A
    • rank（AQ）= rank A
  • 对于一般的矩阵A，B，有
    • rank(BA) <= rank A
    • rank(BA) <= rank B
• 瓶颈型分解
  • 待续。。。。