吴恩达机器学习课程学习记录（3.线性代数回顾）

学过线性代数的朋友们可以略过这节不看，这节老师主要是带着我们复习一下机器学习中涉及到的基本的线性代数知识，笔记嘛，那还是记全好一些。不过解释写的不多，更多还是一些要点的截图和整理。

2020.10.9完成 第二周

章节三：线性代数回顾 目录

课时14：矩阵和向量

课时15：加法和标量乘法

课时16：矩阵向量乘法

课时17：矩阵乘法

课时18：矩阵乘法特征

课时19：逆和转置

1、矩阵（matrix）和向量（vector）的定义

注意向量在这里的定义：一个向量是一种特殊的矩阵，向量是只有一列的矩阵。

矩阵和向量的定义

2、矩阵的加法

（只能把相同维度的矩阵进行相加，最终会得到一个相同维度的另一个矩阵），矩阵的加法就是把对应位置的元素进行相加。维度不同的矩阵不能进行相加。

矩阵的加法

3、矩阵与标量的乘法运算

（对应位置的元素与常量相乘）

矩阵与标量的乘法运算

4、本节所有运算的集合

上述运算集合

5、矩阵与矩阵的乘法

（两个矩阵的列数和行数要相匹配）

矩阵与矩阵的乘法

矩阵与矩阵的乘法

矩阵与矩阵的乘法

6、实际应用：根据房子的大小预估房价

实际应用：根据房子的大小预估房价

实际应用：根据房子的大小预估房价

利用矩阵运算可以简化代码，使程序高效

7、矩阵向量相乘这一节的内容会用在后面讲的线性回归模型中

8、矩阵乘以矩阵

矩阵乘以矩阵

矩阵乘以矩阵

9、实例应用：

通过让原始数据矩阵（raw numbers:四个房子的大小）和参数矩阵（不同回归模型对应的参数）相乘可以得到四个房子用三个不同的模型预估出来的不同价格

实例应用

第一列就是使用第一个预估函数得到的预估房价值

第二列就是使用第二个预估函数得到的预估房价值

第三列就是使用第三个预估函数得到的预估房价值

一次矩阵乘法运算就可以得到12个不同的预测值，很高效。

很多线性代数运算库包含矩阵相乘的高效实现函数

！！参数矩阵就可以代表预估函数本身

10、矩阵乘法的一些特性（property）：

交换律不适用与矩阵与矩阵的乘法，但是适用于标量乘法

结合律适用于矩阵与矩阵的乘法

单位矩阵(identity matrix)：类似于代数运算中数字1的意义，任何矩阵（但要满足行列数匹配）乘以单位矩阵将得到该矩阵本身。

矩阵乘法的一些特性

矩阵乘法的一些特性

矩阵与单位矩阵相乘，此时交换律适用。但是要注意交换前后的单位矩阵维度是不一样的，因为矩阵乘法要时刻满足行列匹配。所以也不是严格意义上的满足交换律。

矩阵乘法的一些特性

11、特殊的矩阵运算

矩阵的逆（matrix inverse）和矩阵的转置（matrix transpose）

类比实数的运算，逆矩阵相当于“倒数”。

矩阵乘以其逆矩阵的结果是单位矩阵。但并不是所有矩阵都有其对应的逆矩阵，比如：如果一个矩阵中的所有数据元素都为0，那么它依然没有对应的逆矩阵。（这种矩阵称为奇异矩阵/退化矩阵）

特殊的矩阵运算

矩阵的转置：

矩阵的转置

以上是这门课涉及到的线性代数部分需要了解的知识。这些线性代数知识将帮助我们在之后推导更强大的学习算法。