深度学习和计算机视觉中的基础数学知识（一）
2.1 线性变换与非线性变换
2-1叫相加性，2-2叫齐性
2.1.2 旋转、缩放与矩阵乘法
旋转坐标
矩阵形式
缩放坐标的矩阵形式（B → \to →C）
2.1.3 点积和投影
点积定义： 两个向量对应元素两两相乘，并求和
从矩阵角度看，相当于 u v T u v^T uvT， u 乘 v 的 转 置 u乘v的转置 u乘v的转置
（内积是点积的推广，点积是欧几里得空间的标准内积）
-
向量长度的运算
投影 ：一个向量在另一个向量方向上的分量的长度
点积的几何意义：一个向量在另一个向量方向的投影的长度与另一个向量的长度相乘（比如图中， 2 × 3 = 6 2\times 3=6 2×3=6） -
投影长度的计算
具有交换性，（可以u投v ✖ v，也可以 v 投 u✖u，不影响结果） -
余弦相似度的推导
在机器学习中经常用到。
2.1.4 矩阵乘法的几何意义(1)
1.从投影的角度理解
矩阵 T ∈ R m × n \boldsymbol T \in \mathbb R^{m\times n} T∈Rm×n,乘以向量 ( x 1 , x 2 , . . . , x n ) (x_1,x_2,...,x_n) (x1,x2,...,xn)
分解为 矩阵的每一行向量 与 待乘向量 点积结果 形成新向量
等于 x x x 在 a i , ∗ a_{i,*} ai,∗上的投影
如果a看成一个坐标轴的单位向量，那么x在a上的投影就是，x在坐标轴上投影的长度
(因为a是单位向量（长度为1），所以投影长度乘1长度没有变。）
乘法的最终结果，是x在以每个a为坐标轴单位向量的新坐标系下的坐标。
-举前面的例子（旋转缩放中，）
变换后的坐标轴的单位向量。
图左： 向量在新坐标系（虚线）的投影。
图右：新坐标系取代老坐标系，得到新的坐标。
2.坐标映射角度理解
坐标系的轴不正交，甚至向量长度不为1，就难以想象矩阵乘法的结果。
（正交在本节的解释：任意坐标轴方向上的向量，在其他坐标轴方向上的投影长度都是0）
比如下面这个例子。
a）中（1，1）在两个行向量（1，4）和（2，-1）上的投影还能理解
b）第一眼看不出来什么东西 （至少博主没看出来），因为参考坐标系变换了，而平时人们想象的都是笛卡尔坐标系。
笛卡尔坐标系（Cartesian coordinates）就是直角坐标系和斜坐标系的统称。
相交于原点的两条数轴，构成了平面放射坐标系。如两条数轴上的度量单位相等，则称此放射坐标系为笛卡尔坐标系。两条数轴互相垂直的笛卡尔坐标系，称为笛卡尔直角坐标系，否则称为笛卡尔斜角坐标系。
我们先研究一下，坐标轴单位向量的变化（1，0），（0，1）与旋转矩阵相乘之后
结论：第i维度的单位向量，在矩阵乘法变换之后，就是第i列向量
原来的红色矩形被拉伸成蓝色的平行四边形了，也就得到了(1,1)变换后的结果(1,5)
重新看投影角度的例子。（蓝色，新的坐标轴单位向量，红色是老的坐标轴单位向量）
都是例子（在矩形里加了一个笑脸，更加直观）
矩阵相加，实现平移
上图如果是一个回归问题，矩阵乘法不能单独解决问题，必须加上一个矩阵，成为偏置（bias）
y = A x + b \boldsymbol{y=Ax+b} y=Ax+b,就叫做仿射变换，（就是一个线性变换加一个平移变换）
2.1.5 本征向量和本征值 (特征向量，特征值）
本征向量在变换后，方向没有改变。（或者相反, λ < 0 \lambda<0 λ<0）
- 例子
单位坐标轴的变换
上个例子是非对称矩阵，机器学习中常用的是对称矩阵，尤其是其中的正定矩阵。
正定矩阵定义：（x 为任意非0 向量， A 对称矩阵）
向量与正定矩阵相乘后的变换结果不会 到与自身垂直平面的另一侧（夹角不超过90度）。
对称矩阵：元素以主对角线为对称轴对应相等的矩阵。
两个特征向量相互垂直。
红色变换前，蓝色变换后。
如果在原坐标系画单位长度为半径的圆，在变换后就变成了椭圆。
特征值和特征向量刚好是椭圆长短轴的一半长度和方向 （PCA的底层思想）
矩阵变化的前后可以在空间里找到一组正交的向量，在变换前后方向不变，空间只是在这组方向上进行伸缩。
2.1.6 矩阵乘法的几何意义（2）
- 从旋转和拉伸的角度理解
变换矩阵：
接下来把 变换分解为3个步骤
第一次变换，把两个特征向量作为的新的单位坐标轴向量。
第二次变换，沿着轴进行缩放。
第三步，把坐标轴转回原来的位置（乘以一个转置）。
下图为三步整体图。
2.1.7 奇异值分解
（把上节正定矩阵分解的例子推广到一般情况）
∑ \sum ∑表示一个对角矩阵。 U , V U,V U,V为正交矩阵。
2.1.8 线性可分性和维度
2.1.9 非线性变换
