机器学习---数学基础（三、线性代数）

一、线性空间与线性变换

• 旋转变化：
  

1.1 可交换性 和 结合律

• $AB\ne BA$
• 对角矩阵可以交换
• 结合律： $A_{i\times j}(B_{j\times k}{C}_{k\times s})=(A_{i\times j}{B}_{j\times k})C_{k\times s}$

1.2 线性空间

$存在集合V=\{v_i|i是指数集\}，配数域k$
$任意，\alpha ,\beta ,\theta \in V，满足以下8条定律：$

1. $\alpha +\beta =\beta +\alpha$
2. $(\alpha +\beta )+\theta =\alpha +(\beta +\theta )$
3. $存在（零元）0\in V,\alpha +0=\alpha$
4. 逆元存在性：$任意\alpha ，存在\beta ，使得\alpha +\beta =0$
5. 数乘单位元： $1\in k1\ast \alpha =\alpha$
6. 数乘结合律：$m,n\in km(n\alpha )=n(m\alpha )$
7. 数乘分配率：$m\in km(\alpha +\beta )=m\alpha +m\beta$
8. $m,n\in k(m+n)\alpha =m\alpha +n\alpha$

1.3 傅里叶变换

1.3.1 连续傅里叶变换

• 傅里叶变换
  $$g(k)={\int }_{-\infty }^{+\infty }f(x)e^{-ikx}dx$$

  • 求 $f^{{}^{\prime }}(x)$的傅里叶变换：
    $$\begin{gathered} F.T(f^{{}^{\prime }}(x))={\int }_{-\infty }^{+\infty }{f}^{{}^{\prime }}(x)e^{-ikx}dx={\int }_{-\infty }^{+\infty }{e}^{-ikx}df(x) \\ =f(x)e^{-ikx}{|}_{-\infty }^{+\infty }-(-ik){\int }_{-\infty }^{+\infty }f(x)e^{-ikx}dx \\ =0-(-ik){\int }_{-\infty }^{+\infty }f(x)e^{-ikx}dx \\ =(ik)F.T(f(x)) \end{gathered}$$
  • 求 $f^{{}^{\prime \prime }}(x)$的傅里叶变换：
    计算过程同上；
    $F.T(f^{{}^{\prime \prime }}(x))=(ik{)}^{2}F.T(f(x))$

• 傅里叶逆变换
  $$f(x)=\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }g(k)e^{ikx}dk$$

1.3.2 离散傅里叶变换

• 离散傅里叶变换的时间复杂度：$O(n^2)$
• 快速傅里叶变换的时间复杂度：$O(n\ln n)$

1.4 线性相关和线性无关

1.4.1 线性相关

• 有冗余的内容信息
• 线性相关定义：
  n 个向量 $v_1,v_2,...,v_n\in V$
  存在$a_1,a_2,...,a_n$不全为 0
  若存在，$a_1{v}_1+a_2{v}_2+...+a_n{v}_n=0$
  则，$\{v_1,v_2,...,v_n\}线性相关。$

---

• 线性无关的定义则与线性相关相反。
  不存在$a_1,a_2,...,a_n$不全为 0；
  使$a_1{v}_1+a_2{v}_2+...+a_n{v}_n=0$
  则，$\{v_1,v_2,...,v_n\}线性无关。$

• 最大线性无关组

1.5 秩

• 矩阵按行/ 列切成的向量组成的"极大线性无关组的个数" 相同。

• $秩="极大线性无关组的个数"$

• 决定是否可逆

1.6 线性变换

• 初等变换

  • k 列乘以 a 倍
  • k 列的 a 倍 加到 s 列上
  • k 列与 s 列对调

• 定义：
  从一个线性空间变换到另一个线性空间。
  $$L(a\alpha +b\beta )=aL(\alpha )+bL(\beta )$$

• 变换的方式

  1. 向量不变，基底变换
     $r=a_1{e}_1+a_2{e}_2=a_1^{{}^{\prime }}{e_1}^{{}^{\prime }}+a_2^{{}^{\prime }}{e_2}^{{}^{\prime }}$
  2. 向量变换，基底不变
     $r=a_1{e}_1+a_2{e}_2$
     $r=a_1^{{}^{\prime \prime }}{e}_1+a_2^{{}^{\prime \prime }}{e}_2$

• 由于任何一个向量都可以用一组基向量进行表示，所以根据基向量的变化就可以得到任一向量的表示。

二、矩阵、等价类和行列式

2.1 可逆矩阵表示坐标变换

• 任意向量的坐标变换都可以由$M_{n\times n}$表示

2.2 相似矩阵

• 定义：
  相似矩阵是指具有相似关系的矩阵。假设 $M,N为n阶矩阵。如果有n阶可逆矩阵P存在，满足以下条件$
  $$A=P^{-1}BP$$
  $则称矩阵A与B相似，记为A\sim B。$

• 实例介绍
  
  

• 相似矩阵表示相同的线性变换

2.3 线性代数解微分方程

全体 $f(x)$ 构成线性空间 $V$，存在大量的线性映射。

• 求导是线性的。

• 例如：求解下面的公式：
  

  • 上式不好求解，可以尝试替换基底的方法。
    

2.4 转秩 和 求逆

2.4.1 转秩

• $(AB{)}^T=B^T{A}^T$

2.4.2 求逆

• $M^{-1}M=I=M{M}^{-1}n$
• $(AB{)}^{-1}=B^{-1}{A}^{-1}$

2.5 等价类

• 等价关系
  $A\sim B;B\sim C,\to A\sim C$
  二元关系， 区分前后（有序对）

  • 1）反身性：$A\sim A$
  • 2）互反性：$A\sim B;B\sim A$
  • 3）传递性：$A\sim B;B\sim C,\to A\sim C$

• 矩阵证明 $A\sim B;B\sim C,\to A\sim C$：

  • $A\sim B\to A=M^{-1}BM$
  • $B\sim C\to B=N^{-1}CN$
  • $$\begin{gathered} A=M^{-1}{N}^{-1}CNM \\ =(NM{)}^{-1}C(NM)\to A\sim C \end{gathered}$$

• 等价类
  若集合$O$ 存在等价关系，
  则集合$O$，可分割成不相关的子集$O_1\cup O_2\cup O_3...$
  ==> 且$O_i$ 的所有元素都等价；
  任意一个 $a,b\in O_i;a\sim b$

2.6 行列式 $det(A)$

• 定义：

  • $det(M)$可以表示线性变换之后的体积元之比。【非常规定义】
    

• $det(AB)=det(A)det(B)$

三、特征值与特征向量

3.1 特征值与特征向量

• 定义：
  

• 物理意义：
  被线性变换之后，方向不变的矢量是特征矢量。
  特征向量构成用于描述线性变换的基底，可将线性变换对角化。

• 特征值和特征向量的性质：

  • 相同的特征值构成的特征向量，可以构成一个子空间
  • 不同特征值的特征向量详细无关。

• 相似矩阵具有相同的特征值

  • 举例证明：
  • $M=K^{-1}NK;M,N代表相同的线性变换$
    $M\alpha ={\lambda }_i\alpha N\beta ={\lambda }_i\beta$
    $$\begin{gathered} M\alpha ={\lambda }_i\alpha \\ {K}^{-1}NK\alpha ={\lambda }_i\alpha \\ NK\alpha ={\lambda }_{i}K\alpha \\ \to \beta =K\alpha \\ N\beta ={\lambda }_i\beta \end{gathered}$$
    所以特征值相同。

3.2 特征值的计算

$$\begin{gathered} M\alpha ={\lambda }_i\alpha \\ (M-{\lambda }_{i}I)\alpha =0 \\ \to det(M-{\lambda }_{i}I)=0 \end{gathered}$$

---

• 1）证明：若$M\sim N;则det(M-\lambda I)=det(N-\lambda I)$
  $$\begin{gathered} det(N-\lambda I)=det(C^{-1}MC-\lambda I) \\ =det(C^{-1}MC-C^{-1}\lambda IC) \\ =det(C^{-1})det(M-\lambda I)det(C) \end{gathered}$$
  • 因为 $det(C^{-1})det(C)=1$
  • 所以$det(C^{-1})det(M-\lambda I)det(C)=det(M-\lambda I)$

---

• 2）求证 $det(M)={\lambda }_1{\lambda }_2{\lambda }_3...$
  根据上述证明已知$det(M-\lambda I)=det(N-\lambda I)$
  • 假设$N$ 为 $\lambda$ 对角矩阵
  • 所以$det(M-\lambda I)=det(N-\lambda I)=({\lambda }_1-\lambda )({\lambda }_2-\lambda )({\lambda }_3-\lambda )...({\lambda }_n-\lambda )$
  • 令 $\lambda =0$
  • 所以$det(M)={\lambda }_1{\lambda }_2{\lambda }_3...$

---

3.3 线性代数核心定理

五个互为充分必要条件的核心定理：

1. $M可逆（存在M^{-1}）$
2. $det(M)\ne 0$
3. $r(M)=n;M满秩$
4. 任何${\lambda }_i\ne 0;0可以作为特征值，不能作为特征向量。$
5. $ker(M)=0;M的核$
   1. $MV=0;V\in ker(M)$

3.4 欧式空间与闵氏空间

• 欧式空间
  • $n维线性空间+点积=欧式空间$
  • $(v_1,v_2)=a_1{b}_1+a_2{b}_2+...+a_n{b}_n$
• 闵氏空间
  • $$\begin{gathered} 假设令v_1=(\Delta t_1,\Delta x_1,\Delta y_1,\Delta z_1) \\ {v}_2=(\Delta t_2,\Delta x_2,\Delta y_2,\Delta z_2) \end{gathered}$$
    $则(v_1,v_2)=-\Delta t_1\Delta t_2+\Delta x_1\Delta x_2+\Delta y_1\Delta y_2+\Delta z_1\Delta z_2$