吴恩达机器学习 学习笔记 之 三 线性代数基础

由于笔者正处学生阶段，这部分刚刚学习过，所以只浏览一遍视频，不再做完整笔记。

 

三、线性代数回顾(Linear Algebra Review)

3.1 矩阵和向量

参考视频: 3 - 1 - Matrices and Vectors (9 min).mkv

如图：这个是4×2矩阵，即4行2列，如m为行，n为列，那么m×n即4×2

矩阵的维数即行数×列数

矩阵元素（矩阵项）：

 

Aij指第i行，第j列的元素。

向量是一种特殊的矩阵，讲义中的向量一般都是列向量，如：

为四维列向量（4×1）。

如下图为1索引向量和0索引向量，左图为1索引向量，右图为0索引向量，一般我们用1索引向量。

 

3.2 加法和标量乘法

 

参考视频: 3 - 2 - Addition and Scalar Multiplication (7 min).mkv

矩阵的加法：行列数相等的可以加。例：

 

矩阵的乘法：每个元素都要乘

组合算法也类似

 

3.3 矩阵向量乘法

 

参考视频: 3 - 3 - Matrix Vector Multiplication (14 min).mkv

矩阵和向量的乘法如图：m×n的矩阵乘以n×1的向量，得到的是m×1的向量

 

算法举例：

 

3.4 矩阵乘法

参考视频: 3 - 4 - Matrix Matrix Multiplication (11 min).mkv

矩阵乘法：

m×n矩阵乘以n×o矩阵，变成m×o矩阵。

如果这样说不好理解的话就举一个例子来说明一下，比如说现在有两个矩阵A和B，那么它们的乘积就可以表示为图中所示的形式。

 

3.5 矩阵乘法的性质

 

参考视频: 3 - 5 - Matrix Multiplication Properties (9 min).mkv

矩阵乘法的性质：

矩阵的乘法不满足交换律：A×B≠B×A 矩阵的乘法满足结合律。即：A×（B×C）=（A×B）×C

单位矩阵：在矩阵的乘法中，有一种矩阵起着特殊的作用，如同数的乘法中的1,我们称这种矩阵为单位矩阵．它是个方阵，一般用I或者E表示，本讲义都用I代表单位矩阵，从左上角到右下角的对角线（称为主对角线）上的元素均为1以外全都为0。如：

对于单位矩阵，有AI=IA=A

 

3.6 逆、转置

 

参考视频: 3 - 6 - Inverse and Transpose (11 min).mkv

矩阵的逆：如矩阵A是一个m×m矩阵（方阵），如果有逆矩阵，则：

我们一般在OCTAVE或者MATLAB中进行计算矩阵的逆矩阵。

矩阵的转置：设A为m×n阶矩阵（即m行n列），第i 行j 列的元素是a(i,j)，即：A=a(i,j) 定义A的转置为这样一个n×m阶矩阵B，

满足B=a(j,i)，即 b (i,j)=a (j,i)（B的第i行第j列元素是A的第j行第i列元素），记AT=B。(有些书记为A'=B）

直观来看，将A的所有元素绕着一条从第1行第1列元素出发的右下方45度的射线作镜面反转，即得到A的转置。

例：

矩阵的转置基本性质:

(A±B)T=AT±BT

(A×B)T= BT×AT

(AT)T=A

 

(KA)T=KAT

matlab中矩阵转置：

直接打一撇，x=y'。