lyb深度学习学习笔记第一章：线性代数

准备全面从头复习一遍深度学习的内容，参考的书籍是deep learning花书。我目前阶段是金融数学的研究生，因此对于一些数学上比较熟悉的概率在此就简略带过，仅供参考。

一. 线性代数

相关概念：

标量、向量、矩阵、张量

转置、广播、点乘、乘积

单位向量、正交、标准正交

单位矩阵、对角矩阵、对称矩阵、正交矩阵、方阵、奇异阵

线性空间、生成子空间、线性无关

范数、最大范数、Frobenius范数（矩阵L2）

1. 特征值分解

   $Av=\lambda v$

   $v$为特征向量，$\lambda$为对应的特征值

   $A=Vdiag(\lambda )V^{-1}$

   每个实对称矩阵都存在特征值分解

   正定（半正定、负定、半负定）

   $f(x)=X^{T}AX,s.t||X||=1$最大值为最大的特征值，最小值为最小的特征值，因此对于正定阵$A=>X^{T}AX\ge 0$

2. 奇异值分解

   非方阵也适用

   $A=UD{V}^T$

   $U,V$为正交矩阵（左右奇异向量），$D$为对角奇异值矩阵（可以非方阵）

   $A$的左特征向量$U$是$A{A}^T$的特征向量，$A$的右特征向量$U$是$A^{T}A$的特征向量，奇异值是对应的特征值开方

3. Moore-Penrose伪逆（略）

4. 迹运算

   对角线元素和

   Frobenius范数$||A|{|}_F=\sqrt{Tr(A{A}^T)}$

   $Tr(ABC) = TR(CAB) $ 如果乘积定义良好

5. 行列式

   $det(A)$为特征值乘积；意义为该矩阵变换所导致的空间变化量

6. 主成分分析PCA

   将$N$维原始向量x通过$l\ast N$矩阵D映射到低维$l$主成分空间c上，即$c=f(x)=D^{T}x$, $g(c)=Dc$，即$r(x)=D{D}^{T}x$

   通过解使得所有样本点通过复原函数$r(x)$复原后的损失平方和最小（最小化L2），解得D为$X^{T}X$的前$l$个最大特征向量。