3 线性回归回顾（Linear Algebra review（optional））

3.1 矩阵和向量（Matrices and vectors）

本节课主要介绍的是矩阵和向量的概念。

矩阵（Matrix）： 由数字组成的矩形阵列，并写在方括号内。如：

图1 矩阵示例

矩阵维数（Dimension of matrix） 表示为：矩阵行数×矩阵列数，如图1所示为4×2矩阵，也可表示为：

矩阵元素：即矩阵中的某个特定元素。假设图1的矩阵用A表示，则A_ij表示矩阵A中第 i 行、第 j 列的元素。如：A₁₂=191。

图2 4维向量示例

向量：一种特殊的矩阵，是只有一列的矩阵，即n×1矩阵，也可称为n维向量，如图2即为一个4维向量，向量维度符号化表示为：

向量元素：假设向量用y表示，则其中的第i个元素表示为：y_i。如图2中的第2个向量元素表示为：y₂=232。

向量的下标有两种表示方法：

• 以1开始的下标：本课程中一般课程中讲解时均采用此种下标标记方案，这是默认向量下标标记方案。

• 以0开始的下标：机器学习算法应用时会使用该种下标标记方案，在课程中如果使用会明确的说明在什么情况下使用。

矩阵及向量的表示法规范：

• 通常使用大写字母来表示矩阵；

• 小写字母表示向量。

3.2 加法和标量乘法（Addition and scalar multiplication）

在本节课中主要介绍矩阵加法、减法的运算规则，以及如何进行数和矩阵的乘法（标量乘法）。

1. 矩阵加法及减法运算规则：相同维度的矩阵才可以进行加、减法运算。运算规则为：对应位置的元素互相加或减，得到的数值填写到结果矩阵的对应位置上。如：

2. 标量乘法（Scalar Multiplication）：标量指的是数字或者是实数，这里指的是实数。标量与矩阵相乘得到的结果是矩阵每个元素与这个标量相乘并将乘积填充到对应的结果矩阵位置中。如：

注意：

• 标量乘法无论是标量乘以矩阵还是矩阵乘以标量，其结果都是相同的。

• 标量与矩阵相除可以转换为标量与矩阵相乘来进行计算。

3.3 矩阵向量乘法（Matrix-vector multiplication）

在本节课程中，主要讲解一个矩阵与一个向量相乘的运算规则及计算过程。

矩阵与向量相乘要求矩阵的列数必须与向量的行数相等。m×n矩阵与n维向量相乘，得到的结果为m维向量，如下图所示：

图3 矩阵与向量乘法法则示意图

其中，乘积结果向量y的任意元素y_i的计算方式为：矩阵A的第 i 行每个元素与向量x的对应位置元素相乘，然后将所有乘积求和。

3.4 矩阵乘法（Matrix-matrix multiplication）

本节课主要讲解两个矩阵相乘的规则。

两个矩阵相乘要求第一个矩阵的列数必须与第二个矩阵的行数相等。m×n矩阵A与n×o矩阵B相乘，得到的结果为m×o矩阵 C，如下图所示：

图4 两个矩阵相乘

其中，结果矩阵C中任意元素C_ij的值计算方法为：矩阵A的第 i 行元素分别与矩阵B第 j 列对应元素相乘，然后将所有乘积相加。

3.5 矩阵乘法特性（Matrix multiplication properties）

本节课主要讲解一些矩阵乘法的特性及特殊矩阵如单位矩阵的特性。

• 实数（或称为标量）乘法满足交换律，即m×n=n×m。但对于矩阵A和B而言，一般情况下，A×B≠B×A。即矩阵乘法不服从交换律。

• 实数乘法满足结合律，即a×b×c=(a×b)×c=a×(b×c)。矩阵乘法也符合结合律，即A×B×C=(A×B)×C=A×(B×C)。

• 单位矩阵：实数乘法的单位操作为：1×z=z×1=z。同理，矩阵向量中也存在单位矩阵，记作 I 或 I_n×n。单位矩阵的特性：

  • 矩阵对角线上的元素均为1，其他位置全是0。
  • A·I=I·A=A，其中第一个I的维度与第二个I的维度通常是不一致的，他们的维度暗含在上下文中。如假设A是m×n的矩阵，则第一个I为n×n的单位矩阵，而第二个I为m×m的单位矩阵。

3.6 逆和转置（Inverse and transpose）

本节课主要讲解矩阵的逆运算及矩阵的转置运算。

3.6.1 矩阵的逆运算

大部分实数m都有一个倒数m_-1与之对应，使得m(m_-1)=1。但数字0没有倒数，因为分母为0的分数是无意义的。

逆矩阵定义：假设A是一个m×m的矩阵，并且它有逆矩阵，记为A^-1，则
AA^-1=A^-1A=I

只有方阵（即矩阵行数与列数相等）才有逆矩阵。但如果矩阵中所有元素为0，则矩阵依然没有逆矩阵。

奇异矩阵（singular matrix）：不存在逆矩阵的矩阵称为奇异矩阵，或称为退化矩阵（degenerate matrix）。

对于比较简单的矩阵，我们可以手工计算矩阵的逆矩阵，但大多数情况下，需要通过软件来计算一个矩阵的逆矩阵。Octave软件中内置的求逆函数为inv(A)。

3.6.2 矩阵的转置运算

矩阵A的转置矩阵记为A^T。转置运算过程为：矩阵A的第 i
行元素变成转置矩阵A^T的第 i 列。

假设A是一个m×n矩阵，并设B=A^T，则B是一个n×m矩阵，并且B_ij=A_ji。