第二章线性代数

2.1 标量、向量、矩阵和张量

范数(norm)衡量向量的大小:将向量映射到非负值的函数
L2范数：向量元素平方和的开根号，机器学习中一般使用平方L2范数(why???)
- 平方L2范数：向量元素的平方和
- 计算上方便：可以简单地通过向量与自身的点积x^T*x计算得到
- 数学上也方便：平方L2范数对x中每个元素的导数结果只取决于对应的元素，而L2范数对每个元素求导却和所有元素相关
L1范数：很多情况下平方L2范数并不受欢迎(why???)
- 它在原点附近增长缓慢:原点附近的x元素接近于0，平方后的结果更加接近于0，而在很多机器学习应用中，区分恰好是0元素和非0但很小的元素是很重要的。
- 当机器学习问题中0和非0元素之间的差异非常重要时，通常使用L1范数。每当x 中某个元素从0 增加ϵ，对应的L1 范数也会增加ϵ
L∞范数，也被称为最大范数（maxnorm）:向量中绝对值最大的元素的绝对值
衡量矩阵的大小：Frobenius 范数（Frobenius norm）
- 类似于向量的L2范数：矩阵元素平方和的开根号

对角矩阵(diagonal matrix):只在主对角线上含有非0元素，其他位置都是0。收到关注（why???)
- 用diag(v) 表示一个对角元素由向量v 中元素给定的对角方阵
- 对角矩阵参与的矩阵乘法计算高效：计算乘法diag(v)x，我们只需要将x 中的每个元素xi 放大vi 倍。换言之，diag(v)x = v ⊙ x
- 当对角矩阵的逆矩阵存在时，计算也比较高效:diag(v)^-1 = diag([1/v1; : : : ; 1/vn]⊤)
- 通过将一些矩阵限制为对角矩阵，我们可以得到计算代价较低的（并且简明扼要的）算法
- 对于一个长方形对角矩阵D 而言，乘法Dx 会涉及到x 中每个元素的缩放，如果D 是瘦长型矩阵，那么在缩放后的末尾添加一些零；如果D是胖宽型矩阵，那么在缩放后去掉最后一些元素
向量x,y正交:(orthogonal):x^T*y=0即∥x∥2∥y∥2 cos Θ=0
如果向量不仅正交，而且范数(L2范数)都为1，称它们是标准正交（orthonormal）
正交矩阵（orthogonal matrix）是指行向量标准正交和列向量也标准正交的方阵，A⊤A = AA⊤
= I，则A^-1 = A⊤,所以正交矩阵受到关注是因为求逆计算代价小。

方阵A 的特征向量（eigenvector）是指与A 相乘后相当于对该向量进行缩放的非零向量v：Av =λv，λ为特征值，v为特征向量
A 的特征分解（eigendecomposition）可以记作A = Vdiag(λ)V^-1
每个实对称矩阵都可以分解成实特征向量和实特征值A=QΛQ⊤,Q是A特征向量组成的正交矩阵，Λ是对角矩阵
矩阵分解可以得到的信息：
- 矩阵是奇异的：当且仅当含有0特征值
- 正定矩阵：所有特征值都是正数；半正定矩阵：所有特征值都是大于等于0；负定矩阵：所有特征值都是负数；半负定：所有特征值都小于等于0。
- 正定矩阵还保证x⊤Ax = 0 ==>x = 0。