机器学习第3课：线性代数回顾(Linear Algebra Review)

　　

　　3.1  矩阵和向量

 

　　　　如图：这个是 4×2 矩阵，即 4 行 2 列，如 m 为行，n 为列，那么 m×n 即 4×2

　　

　　　　矩阵的维数即行数×列数 矩阵元素（矩阵项）：

　　

　　　　

　　　　Aij 指第 i 行，第 j 列的元素。 向量是一种特殊的矩阵，讲义中的向量一般都是列向量，如： 为四维列向量（4×1）。

　　　　如下图为 1 索引向量和 0 索引向量，左图为 1 索引向量，右图为 0 索引向量，一般我们用 1 索引向量。

　　

　　

　　3.2  加法和标量乘法

 

　　　　矩阵的加法：行列数相等的可以加。

　　

　　　　矩阵的乘法：每个元素都要乘

　　

　　　　组合算法也类似。

 

　　3.3  矩阵向量乘法

 

　　　　矩阵和向量的乘法如图：m×n 的矩阵乘以 n×1 的向量，得到的是 m×1 的向量

　　

　　　　算法举例：

　　

 

 

　　3.4  矩阵乘法

 

　　　　矩阵乘法：

　　　　m×n 矩阵乘以 n×o 矩阵，变成 m×o 矩阵。 如果这样说不好理解的话就举一个例子来说明一下，比如说现在有两个矩阵 A 和 B，那

　　　　么它们的乘积就可以表示为图中所示的形式。

　　

 

 

　　3.5  矩阵乘法的性质

　　　　矩阵乘法的性质： 矩阵的乘法不满足交换律：A×B≠B×A

　　　　矩阵的乘法满足结合律。即：A×（B×C）=（A×B）×C

 　　

　　　　单位矩阵：在矩阵的乘法中，有一种矩阵起着特殊的作用，如同数的乘法中的 1,我们称 这种矩阵为单位矩阵．

　　　　它是个方阵，一般用 I 或者 E 表示，本讲义都用 I 代表单位矩阵，从 左上角到右下角的对角线（称为主对角线）上的元素均为 1， 以外全都为 0。如：

 

　　

　　3.6  逆、转置

 

　　　　矩阵的逆：如矩阵 A 是一个 m×m 矩阵（方阵），如果有逆矩阵，则：

 　　

　　　　我们一般在 OCTAVE 或者 MATLAB 中进行计算矩阵的逆矩阵。

　　　　矩阵的转置：设 A 为 m×n 阶矩阵（即 m 行 n 列），第 i 行 j 列的元素是 a(i,j)，即： A=a(i,j)

　　　　定义 A 的转置为这样一个 n×m 阶矩阵 B，满足 B=a(j,i)，即 b (i,j)=a (j,i)（B 的第 i 行第j 列元素是 A 的第 j 行第 i 列元素），

　　　　记 AT=B。(有些书记为 A'=B）直观来看，将 A 的所有元素绕着一条从第 1 行第 1 列元素出发的右下方 45 度的射线作 镜面反转，即得到 A 的转置。

 　　

　　　　例： 矩阵的转置基本性质: 

　　

　　　　matlab 中矩阵转置：直接打一撇，x=y'。