线性代数及其应用

181219

矩阵相加：只要形状一样，两个矩阵可以相加。

标量与矩阵相乘或相加：将标量与矩阵的每一个元素相乘或相加。

矩阵相乘：C = A B
矩阵A的列数与矩阵B的行数相等，A的形状为m*n，B的形状为n*p,则C的形状为m*p。

元素对应乘积/Hadamard乘积：为矩阵内对应元素的乘积，记为AB。

两个相同维数的向量x和y的点积可以看做矩阵乘积x转至后与y的矩阵乘积。

矩阵满足分配律、结合律，但不满足交换律。

182122

看了一周的《线性代数及其应用》David C.Lay，虽然豆瓣评分9.1，但是部分翻译跟排版让自己不爽。在知乎上研究了下，发现以前《数据分析实战》作者推荐的Gilbert Strang 著的学起来更容易上手，先试着读下，斟酌下哪本更适合自己。还有人推荐MIT的线代公开课，看视频总觉得会比较慢，还容易犯困，不过也是个备选项。

把微积分的书读了遍，现在觉得重要的是解决一个问题的思想，不是不停的算题，醒悟的晚了些吧。

《Linear Algebra And Its Application》Gilbert Strang

• This subject begins with two vectors and , point in different directions. The key step is to take particular combination 3 + 4, same plane. Their combinations c + d fill the page, but they don't go up from the page.
• c + d = can be solved when lies in the same plane as and .
• column space. Linear combinations c + d fill a vector space, we call it the column space of the matrix.

• key goal: row space & column space
• further goal: how the matric acts. Diagonal matrix(对角线矩阵), orthogonal matrix(正交矩阵), triangular matrix(三角形矩阵), symmetric matrix(对称矩阵)。
• Eigenvalues of matrix.

181224 -181227

Chapter 1

1.1 简介

本章将深入研究4方面

• 线性等式对应的几何平面
• 矩阵标记
• 消除的异常情况：无解或无限解
• 消除的步骤数

1.2 线性代数与几何

• 二维方程组按行来看，在直角坐标系中表示两条直线；按列来看，左边系数表示两个向量，未知数相当于两个标量，左边向量相加后等于右边向量，即一个向量等式。
• 当方程组由二维扩展到n维时，第一个等式表示n-1维的“面”，第二个等式与第一个等式相交后维度变成n-2, n个等式代表的"面"相交后维度变为0，结果为一个点。
• 线性代数的中心思想：向量乘以标量后相加，如c + d被称为线性组合。
• 特殊情况

行

1. 三维空间中，两平面平行且与第三个平面相交，无交点。
2. 三维空间中，三平面两两相交且互相平行，无交点。
3. 三维空间中，三平面相交于同一直线，无数个交点。（两方程组相加 = 第三个方程组）
4. 三维空间中，三个平面平行，无交点。

列

1. 三个向量在一个平面，不在该平面，无解。
2. 三个向量在一个平面，也在该平面，无数解。
3. If the n planes have no point in common, or infinitely many points, then the n columns lie in the same plane.

如何求三维空间两平面相交直线？
方程系数为平面法向量，两方程系数的外积即为直线方向向量。

如何验证三维空间内直线与平面的位置关系？
验证直线的方向向量与平面法向量的关系。

如何判断三个向量在一个平面？
乘以系数后两个向量相加等于第三个向量。

1.3 高斯消元法

• 高斯消元法
  后面的方程乘以系数后与第一个方程相减，消去第一个未知数，如此操作直至最后一个方程剩下一个未知数，然后反过来求每个未知数的值。
• 无法消元
  Triangular system某方程组某未知数系数为0，调换方程组顺序后仍不能获得正常Triangular system。
• 高斯消元法的计算量

第二个方程组的第二项 （为了消去第一项） 百度文库有PPT可以参考

若把对同一项的加减乘除看做一次运算，则first stage的计算量为n*(n-1)。每一方程的要对n项进行计算，共计n-1个方程组。

当n足够大时预算量约等于

190109

1.4 矩阵符号及矩阵乘法

这节主要讲矩阵符号及矩阵乘法，因为如果要写出方程组的所有消除步骤工作量相当大。矩阵符号描述了最初的方程，矩阵乘法将描述消除步骤变得更简单。
m by n matrix means m rows and n columns.
矩阵相加与相乘同向量类似，向量相当于紧有一列的矩阵。形状相同的矩阵可以相加，矩阵与数值相乘相当于矩阵的每一个元素与数值相乘。

• 矩阵和向量乘法

方程组可以用矩阵的形式表达

行与列相乘是矩阵乘法里最基础的，类似于向量的内积。
The product Ax可以看做以 x中元素为系数，矩阵 A中各列构成的新矩阵。
矩阵 A中的元素用 表示，i表示第i行，j表示第j列。向量 x中元素用 表示。The product Ax中的元素通过如下方式表示。

• 方程组消除步骤中的矩阵形式
  方程组在消除的过程中右侧的向量发生了什么变化?
  可以通过乘以Elementary matrix的方式表示，将第一行的元素*(-2)加上第二行的元素可以表示为 identity matrix I , I b = b elementary matrix E
• 矩阵乘法
  怎么理解下面这句话呢？E这个消除矩阵乘以一个方程组的系数矩阵乘以未知数向量x, 仔细想想这三个数好像怎么相乘结果都是一致的呢。 = A中第i行与B中第j列对应的元素相乘再相加
  矩阵乘法的性质：
• (AB)C = A(BC)
• A(B+C) = AB+AC and (B+C)D = BD+CD

1901016

1.5 三角因子及行交换

由原矩阵转化为上三角矩阵：
=
E、F、G分别为每个步骤消除元素时包含所成倍数的消除矩阵
下三角矩阵为：
=
两个矩阵相乘之后结果为对称轴为1其他位置为0的矩阵，那么两个矩阵互为逆矩阵。

将原矩阵化为两个三角矩阵，即
= -> and
先求出,然后求。
若的对称轴上元素不都为1，那么将每一行除以该行对称轴上的元素，方程转化为

行交换：
通过将原矩阵前乘以(转换矩阵)得到预期位置的矩阵。

行交换后，由于进行了行交换，计算时要按照交换后的矩阵计算。

不太理解的地方：

• 转化为两个三角矩阵后的计算量变为
• 计算微积分时的顺序不一定一样

190109

1.7 Special Matrices and 应用

现实中遇到的矩阵很多情况下是对称的，大部分系数为0。这节主要讲了tridiagonal matrix.如second derivativea

运算量为P = 1/3w(w-1)(3n-2w+1)