线性代数

（1）张量：用来表示超过两维的数组
（2）线性相关：是一种冗余现象
（3）范数：有时我们需要衡量一个向量的大小。在机器学习中，我们经常使用被称为范数
（norm）的函数衡量向量大小。范数是将向量映射到非负值的函数。
（4）正交矩阵：正交矩阵受到关注是因为求逆计算代价小。
（5） 正定矩阵：所有特征值都是正数的矩阵被称为正定矩阵。
（6）奇异值分解：奇异值分解比特征值分解有更广泛的应用。每个实数矩阵都有一个奇异值分解，但不一定都有特征分解。例如，非方阵的矩阵没有特征分解，这时我们只能使用奇异值分解。
（7）迹运算：用迹运算表示表达式，我们可以使用很多有用的等式巧妙地处理表达式。例如，迹运算在转置运算下是不变的。
（8）行列式：记作 det(A)，它是一个将方阵 A映射到实数的函数。行列式等于矩阵特
征值的乘积。行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或者缩小
了程度。如果行列式是 0，那么空间至少沿着某一维完全收缩了，使其失去了所有的
体积。如果行列式是 1，那么这个转换保持空间体积不变。