吴恩达机器学习课程笔记－3.线性代数回顾

3.线性代数回顾（Linear Algebra Review）

3.1 矩阵和向量（Matrices and Vectors）

矩阵是由数字组成的矩形阵列。
$$A=\left[\begin{array}{cc}1402& 191\\ 1371& 821\\ 949& 1437\\ 147& 1448\end{array}\right]$$
上面矩阵的是一个4x2矩阵，即矩阵的维数是4x2（行数x列数）
$A_{ij}$指第$i$行，第$j$列的元素，例如$A_{32}=1437$

向量是只有一列的矩阵（讲义中的向量通常是指列向量），例如：$$y=\left[\begin{array}{c}460\\ 232\\ 315\\ 178\end{array}\right]$$
有4x1个元素，称为四维（列）向量。

3.2 加法和标量乘法（Addition and Scalar Multiplication）

矩阵的加法：相同维度（行数列数都相同）的两个矩阵可以相加，
例：
$$\left[\begin{array}{cc}1& 0\\ 2& 5\\ 3& 1\end{array}\right]+\left[\begin{array}{cc}4& 0.5\\ 2& 5\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}5& 0.5\\ 4& 10\\ 3& 2\end{array}\right]$$
矩阵和标量（这里指实数）的乘法：实数乘每一个元素，
例：
$$3\ast \left[\begin{array}{cc}1& 0\\ 2& 5\\ 3& 1\end{array}\right]=\left[\begin{array}{cc}3& 0\\ 6& 15\\ 9& 3\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 2& 5\\ 3& 1\end{array}\right]\ast 3$$

3.3 矩阵向量乘法（Matrix-Vector Multiplication）

矩阵和向量的乘法：$m\times n$的矩阵乘以$n\times 1$的向量，得到的是$m\times 1$的向量。
例1：
$$\left[\begin{array}{cc}1& 3\\ 4& 0\\ 2& 1\end{array}\right]\left[\begin{array}{c}1\\ 5\end{array}\right]=\left[\begin{array}{c}16\\ 4\\ 7\end{array}\right]$$
计算过程：
$$\begin{gathered} 1\times 1+3\times 5=16 \\ 4\times 1+0\times 5=4 \\ 2\times 1+1\times 5=7 \end{gathered}$$
例2：
$$\left[\begin{array}{cccc}1& 2& 1& 5\\ 0& 3& 0& 4\\ -1& -2& 0& 0\end{array}\right]\left[\begin{array}{c}1\\ 3\\ 2\\ 1\end{array}\right]=\left[\begin{array}{c}14\\ 13\\ -7\end{array}\right]$$
计算过程：
$$\begin{gathered} 1\times 1+2\times 3+1\times 2+5\times 1=14 \\ 0\times 1+3\times 3+0\times 2+4\times 1=13 \\ -1\times 1+-2\times 3+0\times 2+0\times 1=-7 \end{gathered}$$

应用到之前讲到的房价预测问题，假设有四组数据：

House sizes 2104 1416 1534 852 假设函数为：

$$h_{\theta }(x)=-40+0.25x$$

可以使用矩阵向量相乘的方法表示，并计算出所有房子的价格：
$$\left[\begin{array}{cc}1& 2104\\ 1& 1416\\ 1& 1534\\ 1& 852\end{array}\right]\left[\begin{array}{c}-40\\ 0.25\end{array}\right]=\left[\begin{array}{c}-40\times 1+0.25\times 2104\\ -40\times 1+0.25\times 1416\\ -40\times 1+0.25\times 1534\\ -40\times 1+0.25\times 852\end{array}\right]$$
具体到代码实现可以直接写成如下形式：

prediction = DataMatrix * parameters

这种写法不仅简洁，而且当数据量较大时，效率也高于for循环的写法。

3.4 矩阵乘法（Matrix-Matrix Multiplication）

$m\times n$矩阵乘以$n\times o$，结果为$m\times o$矩阵。


还是上面的房屋数据，此时有三组假设函数，那么用矩阵乘矩阵的计算方法如下：

编程时采用这种方式的好处是：

1. 代码简洁，不用每次都写复杂的for循环结构。
2. 计算效率高，一些开源线性代数库都对实现矩阵间的乘法的效率进行了高度优化。

3.5 矩阵乘法的性质（Matrix Multiplication Properties）

不满足交换律：
$$A\times B̸=B\times A$$
满足结合律：
$$A\times (B\times C)=(A\times B)\times C$$
单位矩阵：主对角线元素全部为1，其他元素全部为0的矩阵。通常用I或E表示。
$$AI=IA=A$$

3.6 逆和转置（Inverse and Transpose）

如果A是一个$m\times m$矩阵（方阵），并且有逆矩阵：
$$A{A}^{-1}=A^{-1}A=I$$

矩阵的转置：
若$B_{ij}=A_{ji}$，则$A^T=B$。

直观来看，将$A$的所有元素绕着一条从$A_{11}$出发的右下方45°的轴做镜面反转，即得到$A$的转置。
例如：
$$A=\left[\begin{array}{ccc}1& 2& 0\\ 3& 5& 9\end{array}\right]$$
$$B=A^T=\left[\begin{array}{cc}1& 3\\ 2& 5\\ 0& 9\end{array}\right]$$
矩阵转置的基本性质：
$$\begin{gathered} (A\pm B{)}^T=A^T\pm B^T \\ (A\times B{)}^T=B^T\times A^T \\ (A^T{)}^T=A \\ (kA{)}^T=k{A}^T \end{gathered}$$