机器学习的基本数学知识1

机器学习的基本数学知识（自用）

线性代数

• 标量、向量、矩阵和张量
  • 标量：一个单独的数
  • 向量：一列数
  • 矩阵：二维数组
  • 张量：维数超过二维的数组
  • 转置：矩阵的行列互换
• 矩阵与向量相乘
• 单位矩阵和逆矩阵
  • 单位矩阵：主对角线元素都是1
  • 逆矩阵：${\mathbf{A}}^{-1}\mathbf{A}=\mathbf{I}$
• 线性相关与生成子空间
  • 将$\mathbf{A}$的列向量看作是从原点出发的向量，则$\mathbf{A}\mathbf{x}={\sum }_i{x}_i{\mathbf{A}}_{:,i}$（称为线性组合），一组向量的线性组合所能及的点的集合就是这组向量的生成子空间
  • 线性相关：向量组某向量能用组内其他向量线性表示
  • 线性无关：向量组的每个向量都是组内其他向量无法线性组合表示的
  • 列向量线性相关的方阵被称为是 奇异的
• 范数
  • 范数是满足下列性质的函数：
    • $f(\mathbf{x})=0\Rightarrow \mathbf{x}=0$
    • $f(\mathbf{x}+\mathbf{y})\le f(\mathbf{x})+f(\mathbf{y})$
    • $\forall \alpha \in \mathbb{R},f(\alpha \mathbf{x})=|\alpha |f(\mathbf{x})$
  • $L^p$范数：
    • $||\mathbf{x}|{|}_p={\left({\sum }_i|x_i{|}^p\right)}^{\frac{1}{p}}p\in \mathbb{R},p\ge 1$
  • $L^0$范数：向量中非零元素的个数
  • $L^{\infty }$范数：向量中最大幅值元素的绝对值
    • $||\mathbf{x}|{|}_{\infty }={\text{max}}_i|x_i|$
  • 矩阵的F范数：
    • $||{\mathbf{A}}_F||=\sqrt{{\sum }_{i,j}{A}_{i,j}^2}$
  • 两个向量的点积用范数表示：
    • ${\mathbf{x}}^T\mathbf{y}=||\mathbf{x}|{|}_2||\mathbf{y}|{|}_2\text{cos}\theta$
• 特殊类型的矩阵和向量
  • 对角矩阵：只有主对角线上含有非零元素
  • 对称矩阵：转置和自己相等的矩阵
  • 单位向量：具有单位范数的向量
  • 正交：${\mathbf{x}}^T\mathbf{y}=0$
  • 标准正交：不但正交，且范数都为1
  • 正交矩阵：行向量和列向量是分别标准正交的方阵
    • ${\mathbf{A}}^{-1}={\mathbf{A}}^T$
• 特征分解
  • 将矩阵分解成一组特征向量和特征值
    • $\mathbf{Av}=\lambda \mathbf{v}$
      • 特征向量：与A相乘后相当于对该向量进行缩放的非零向量$\mathbf{v}$
      • 特征值：标量$\lambda$
  • 矩阵$\mathbf{A}$有$n$个线性无关的特征向量$\{{\mathbf{v}}^{(1)},...,{\mathbf{v}}^{(\mathbf{n})}\}$，对应着特征值$\{{\lambda }_1,...,{\lambda }_n\}$，将特征向量连接成一个矩阵，每一列是一个特征向量即$\mathbf{V}=[{\mathbf{v}}^{(1)},...,{\mathbf{v}}^{(\mathbf{n})}]$，则$\mathbf{A}$的特征分解可以记作：$\mathbf{A}=\mathbf{V}\text{diag}(\mathbf{\lambda }){\mathbf{V}}^{-1}$
  • 所有特征值都是非负数的矩阵被称为半正定
    • 保证 $\forall \mathbf{x},{\mathbf{x}}^T\mathbf{Ax}\ge 0$
  • 所有特征值都是正数的矩阵被称为正定
    • 除保证大于等于0，还保证 $\forall \mathbf{x},{\mathbf{x}}^T\mathbf{Ax}=0\Rightarrow \mathbf{x}=0$
  • 所有特征值都是非正数的矩阵称为半负定
• 奇异值分解
  • 将矩阵（扩展到非方阵）分解为奇异向量和奇异值
    • $\mathbf{A}={\mathbf{UDV}}^T$
    • $\mathbf{A}$是一个$m\times n$的矩阵，$\mathbf{U}$是一个$m\times m$的矩阵，$\mathbf{V}$是一个$n\times n$的矩阵
    • $\mathbf{U}$ 和 $\mathbf{V}$ 都定义为正交矩阵，$\mathbf{D}$定义为对角矩阵（注意其不一定为方阵）
    • $\mathbf{D}$对角线上的元素被称为矩阵$\mathbf{A}$的奇异值，矩阵$\mathbf{U}$的列向量称为左奇异向量，矩阵$\mathbf{V}$的列向量称为右奇异向量
  • SVD 最有用的一个性质可能是拓展矩阵求逆到非方矩阵
• Moore-Penrose伪逆
  • ${\mathbf{A}}^{+}=\mathbf{V}{\mathbf{D}}^{+}{\mathbf{U}}^T$
    • $\mathbf{U}\text{, }\mathbf{D}\text{ 和 }\mathbf{V}$是矩阵$\mathbf{A}$ 奇异值分解得到的矩阵
    • ${\mathbf{D}}^{+}$是$\mathbf{D}$的非零元素取倒数后转置得到的
• 迹运算
  • 返回的是对角元素的和
    • $\text{Tr}(\mathbf{A})={\sum }_i{\mathbf{A}}_{i,i}$
  • 用迹描述F范数
    • $||{\mathbf{A}}_F||=\sqrt{\text{Tr}({\mathbf{AA}}^T)}$
  • 迹运算在转置下是不变的
    • $\text{Tr}(\mathbf{A})=\text{Tr}({\mathbf{A}}^T)$
  • 多个矩阵相乘得到的方阵的迹
    • $\text{Tr}(\mathbf{ABC})=\text{Tr}(\mathbf{CAB})=\text{Tr}(\mathbf{BCA})$
  • 矩阵相乘后形状变了，迹运算的结果依然不变
    • $\text{Tr}(\mathbf{AB})=\text{Tr}(\mathbf{BA})\mathbf{A}\in {\mathbb{R}}^{m\times n}\text{, }\mathbf{B}\in {\mathbb{R}}^{n\times m}$
  • 标量的迹是它自己
• 行列式 $\text{det}(\mathbf{A})$
  • 等于矩阵特征值的乘积
  • 衡量矩阵参与矩阵乘法后空间扩大缩小了多少
    • 如果是0,说明空间沿某一维完全收缩了,失去了所有体积
    • 如果是1,说明转换保持空间体积不变

主成分分析(Principal Components Analysis, PCA)

• 假设在${\mathbb{R}}^n$空间中有$m$个点$\{{\mathbf{x}}^{(1)},...,{\mathbf{x}}^{(\mathbf{n})}\}$, 用低维表示编码这些点, 即对每个点${\mathbf{x}}^{(i)}\in {\mathbb{R}}^n$, 会有一个对应的编码向量${\mathbf{c}}^{(i)}\in {\mathbb{R}}^l$ , 其中$l<n$;
• 找到一个编码函数 $f$ 使得$f(\mathbf{x})=\mathbf{c}$,也希望找到一个解码函数 $g$ 使得 $\mathbf{x}\approx g\left(f(\mathbf{x})\right)$;
• 为了简化解码器，使用矩阵乘法将编码映射回 ${\mathbb{R}}^n$ ，即 $g(\mathbf{c})=\mathbf{Dc}$，其中$\mathbf{D}\in {\mathbb{R}}^{n\times l}$ 是定义解码的矩阵,其限制列向量具有单位范数且彼此正交;
• 计算最优编码${\mathbf{c}}^{\ast }$, 可将问题化为最小化原始输入向量与重构向量之间的距离, 使用$L^2$范数描述问题:
  $${\mathbf{c}}^{\ast }=\arg \underset{c}{\min }\Vert \mathbf{x}-g(\mathbf{c}){\Vert }_2$$
• 使用$L^2$范数的平方代替,并化简得到:
  $${\mathbf{c}}^{\ast }=\arg \underset{c}{\min }-2{\mathbf{x}}^T\mathbf{Dc}+{\mathbf{c}}^T\mathbf{c}$$
• 通过向量微积分求解得:
  $$\mathbf{c}={\mathbf{D}}^T\mathbf{x}$$
• 即编码函数为:
  $$f(\mathbf{x})={\mathbf{D}}^T\mathbf{x}$$
• 重构操作为:
  $$r(\mathbf{x})=g\left(f(\mathbf{x})\right)={\mathbf{DD}}^T\mathbf{x}$$

推导过程: 最小化投影造成的损失

• 求解编码矩阵$\mathbf{D}$
  最小化所有维数和所有点上的误差矩阵的 Frobenius 范数,即
  $${\mathbf{D}}^{\ast }=\arg \underset{c}{\min }\sqrt{\sum _{i,j}{\left({\mathbf{x}}_j^{(i)}-r({\mathbf{x}}^{(i)}{)}_j\right)}^2}\text{ subject to }{\mathbf{DD}}^T={\mathbf{I}}_l$$
• …

另一种推导过程: 最大化数据投影后的的方差

• 理论依据补充->拉格朗日乘子法
  • 假设存在一个函数$f(x,y)$, 求该函数在$g(x,y)=c$下的极值
  • 则在极值点的时候两个函数必然相切,此时各自的导数成正比,从而
    $$\frac{\partial f}{\partial x}=\lambda \frac{\partial g}{\partial x};\frac{\partial f}{\partial y}=\lambda \frac{\partial g}{\partial y};g(x,y)=c$$
  • 可假设一个新的函数
    $$F(x,y,\lambda )=f(x,y)+\lambda [c-g(x,y)]$$
    分解求:
    $$\frac{\partial F}{\partial x}=0;\frac{\partial F}{\partial y}=0;\frac{\partial F}{\partial \lambda }=0$$
• 推导过程:
  • $\mathbf{D}$中基向量为 $\{{\mathbf{u}}_1,{\mathbf{u}}_2,...,{\mathbf{u}}_l\}$ （从 n 维降到 l 维）
  • 数据点 ${\mathbf{x}}_i$在该基底上的投影为${\mathbf{x}}_i^T\cdot {\mathbf{u}}_j$
  • 所有数据在该基底上的投影的方差为（m为样本数量）
    • ${\mathbf{J}}_j=\frac{1}{m}{\sum }_{i=1}^m(x_i^T{u}_j-x_{center}^T{u}_j{)}^2$
  • 在运算之前对数据x进行0均值初始化，即$x_{center}=0$，从而有
    J j = 1 m ∑ i = 1 m ( x i T u j ) 2 = 1 m ∑ i = 1 m ( u j T x i ⋅ x i T u j ) = u j T ⋅ 1 m ∑ i = 1 m ( x i x i T ) ⋅ u j = u j T ⋅ 1 m ( [ x 1 ⋯ x m ] ⋅ [ x 1 ⋯ x m ] ) ⋅ u j = = 1 m u j T X X T u j = u j T S u j u . t .   u j T u j \begin{aligned} \boldsymbol{J}_j & = \frac{1}{m} \sum _{i=1} ^m (x_i^Tu_j)^2 \\ & = \frac{1}{m} \sum _{i=1} ^m (u_j^Tx_i \cdot x_i^Tu_j) \\ & = u_j^T \cdot \frac{1}{m} \sum _{i=1} ^m (x_i x_i^T) \cdot u_j \\ & = u_j^T \cdot \frac{1}{m} (\begin{bmatrix}x_1 \cdots x_m \end{bmatrix} \cdot \begin{bmatrix}x_1 \\ \cdots \\ x_m \end{bmatrix}) \cdot u_j \\ & == \frac{1}{m} u_j^T \boldsymbol{XX}^T u_j \\ & = u_j^T \boldsymbol{S} u_j \quad u.t. \text{ } u_j^T u_j \end{aligned} Jj​​=m1​i=1∑m​(xiT​uj​)2=m1​i=1∑m​(ujT​xi​⋅xiT​uj​)=ujT​⋅m1​i=1∑m​(xi​xiT​)⋅uj​=ujT​⋅m1​([x1​⋯xm​​]⋅ ​x1​⋯xm​​ ​)⋅uj​==m1​ujT​XXTuj​=ujT​Suj​u.t. ujT​uj​​
  • 构造函数
    $$F(u_j)=u_j^T\mathbf{S}{u}_j+{\lambda }_j(1-u_j^T{u}_j)$$
  • 求解$\frac{\partial F}{\partial u_j}=0$，得：
    $$2\mathbf{S}\cdot u_j-2{\lambda }_j\cdot u_j=0\Rightarrow \mathbf{S}{u}_j={\lambda }_j{u}_j$$
  • 当$u_j$ 、${\lambda }_j$分别为$\mathbf{S}$矩阵的特征向量、特征值时，${\mathbf{J}}_j$有极值，上述结果回代得
    $$u_j^T\mathbf{S}{u}_j=u_j^T{\lambda }_j{u}_j={\lambda }_j$$
  • 所以对于任意满足条件的正交基，对应的数据在上面投影后的方差值为$\mathbf{S}$矩阵的特征向量，从而
    $${\mathbf{J}}_{max}=\sum _{j=1}^k{\lambda }_j,\text{ λ从大到小排序}$$
  • 所以投影正交基为
    • $\mathbf{S}$的特征向量中的前k个最大特征值对应的特征向量
  • 对$\mathbf{S}$进行特征分解
    $$\mathbf{D}=\mathbf{D}ofsvd(\mathbf{S})=\mathbf{D}ofsvd(\frac{1}{m}{\mathbf{XX}}^T)$$
  • 因此
    X n e w l × m = [ u 1 T u 2 T ⋮ u l T ] l × n ⋅ X n × m \boldsymbol{X}_{new_{l \times m}} = \begin{bmatrix} u^T_1 \\ u^T_2 \\ \vdots \\ u^T_l \end{bmatrix}_{l \times n} \cdot \boldsymbol{X}_{n \times m} Xnewl×m​​= ​u1T​u2T​⋮ulT​​ ​l×n​⋅Xn×m​
• PCA使用过程
  1. 初始化$\mathbf{X}$，使得所有样本之间的特征值均值为0，同时应用feature scaling，缩放到$-0.5\sim 0.5$
  2. 计算$\mathbf{X}$的协方差矩阵$\mathbf{S}$
  3. 对$\mathbf{S}$进行SVD分解，$\mathbf{U}$即我们要求的新坐标系集合，$\mathbf{D}$为特征值集合（计算时特征值都会大于0，且结果会从小到大排列）
  4. 按照特征值从大到小排序，要降低为$l$维，那么取前$l$个特征值对应的特征向量，就是新的$l$个坐标轴
  5. 把X映射到新的坐标系中，完整降维操作

概率论

• 样本空间：随机实验 全部可能的结果组成的集合
• 随机变量：定义在样本空间上的实值函数
  • 通常用无格式与手写体字母区分随机变量与随机变量的取值。例如x表示随机变量本身，$x_1,x_2$表示具体的取值
  • 随机变量是对可能的状态的描述，必须要有对应的概率分布来指定每个状态（即随机变量取值）的可能性
• 概率分布：描述随机变量每个状态的可能性大小
  • 概率质量函数：离散型随机变量的概率分布
    • 概率质量函数$P$需满足条件：
      1. $P$的定义域是x所有可能状态的集合
      2. $\forall x\in \text{x},0\le P(x)\le 1$
      3. ${\sum }_{i=1}^{\infty }P(x_i)=1$
    • 概率质量函数本身就反映了变量x取某值的概率
  • 概率密度函数：连续型随机变量的概率分布
    • 概率密度函数$P$需满足条件：
      1. $P$的定义域是x所有可能状态的集合
      2. $\forall x\in \text{x},P(x)\ge 0$
      3. ${\int }_{i=1}^{\infty }P(x_i)=1$
    • 需对概率密度函数求积分来获得变量取值在某范围的概率
  • 累积分布函数：对任意给定实数$x$，随机变量x小于等于$x$的概率
    • $F(x)=P(\text{x}\le x)$
• 联合概率分布：多个随机变量的概率分布
• 边缘概率：已知其联合概率分布的一组变量的子集的概率分布
  • 例如已知离散随机变量x和y及其联合概率分布$P(\text{x,y})$，求$P(\text{x})$：
    • $P(\text{x}=x)={\sum }_{y}P(\text{x}=x,\text{y}=y)$
  • 连续型：
    • $P(\text{x}=x)=\int P(x,y)dy$
• 条件概率：某个事件在其他给定事件发生时出现的概率
  • 给定 $\text{x}=x$ ，则 $\text{y}=y$ 发生的条件概率记为$P(\text{y}=y|\text{x}=x)$
    • $P(\text{y}=y|\text{x}=x)=\frac{P(\text{y}=y,\text{x}=x)}{P(\text{x}=x)}$
    • $P(\text{x}=x)>0$
  • 条件概率的链式法则：任何多维随机变量的联合概率分布，都可以分解成只有一个变量的条件概率相乘的形式
    • $P(x^{(1)},...,x^{(n)})=P(x^{(1)}){\prod }_{i=2}^{n}P(x^{(i)}|x^{(1)},...,x^{(i-1)})$
• 独立性和条件独立性：随机变量间互相不对对方的概率产生影响
  • $\forall x\in \text{x},y\in \text{y},P(\text{x}=x,\text{y}=y)=P(\text{x}=x)P(\text{y}=y)$
  • $\forall x\in \text{x},y\in \text{y},z\in \text{z},P(\text{x}=x,\text{y}=y|\text{z}=z)=P(\text{x}=x|\text{z}=z)P(\text{y}=y|\text{z}=z)$
• 期望、方差和协方差
  • 期望：“加权平均”；函数$f(x)$关于某分布$P(\text{x})$的期望：
    • 离散：${\mathbb{E}}_{x\sim P}[f(x)]={\sum }_{x}P(x)f(x)$
    • 连续：${\mathbb{E}}_{x\sim P}[f(x)]=\int P(x)f(x)dx$
    • 期望是线性的，即：${\mathbb{E}}_x[\alpha f(x)+\beta g(x)]=\alpha {\mathbb{E}}_x[f(x)]+\beta {\mathbb{E}}_x[g(x)]$
  • 方差：“随机变量的差异程度”：
    • $Var(f(x))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)]{)}^2]$
    • 标准差：方差的平方根
  • 协方差：两变量之间的相关性强度
    • $Cov(f(x),g(y))=\mathbb{E}[(f(x)-\mathbb{E}[f(x)])(g(y)-\mathbb{E}[g(y)])]$
    • 协方差的绝对值很大：变量值变化很大，且同时距各自的均值很远
    • 协方差是正的：两个变量趋势相同
    • 协方差是负的：两个变量趋势相反
    • 为零：两变量相互独立
• 矩与矩母函数
  • 若$E\left[X^k\right]$存在，$k=1,2,...$，则称其为$X$的$k$阶 原点矩：
    • $E\left[X^k\right]={\sum }_{x:p(x)>0}{x}^{k}p(x)$
  • 若$E\{{\left[X-E(X)\right]}^k\}$存在，$k=2,3,...$，则称其为$X$的$k$阶 中心矩
  • 若$E\left[X^k{Y}^l\right]$存在，$k,l=1,2,...$，称之为$X、Y$的$k+l$阶 混合原点矩
  • 若$E\{{\left[X-E(X)\right]}^k{\left[Y-E(Y)\right]}^l\}$存在，$k=2,3,...$，则称其为$X、Y$的$k+l$阶 混合中心矩
• 常用概率分布
  • Bernoulli分布：单个二值随机变量的分布
    • $\varphi \in [0,1]$，$\varphi$给出了随机变量x等于1的概率
      • $P(\text{x}=1)=\varphi$
      • $P(\text{x}=0)=1-\varphi$
      • $P(\text{x}=x)={\varphi }^x(1-\varphi {)}^{1-x}$
      • ${\mathbb{E}}_{\text{x}}[\text{x}]=\varphi$
      • $\text{Var}(\text{x})=\varphi (1-\varphi )$
  • Multinoulli分布：具有 k 个不同状态的单个离散型随机变量上的分布
    • Multinoulli分布由向量$\boldsymbol{p} \in [0,1]^{k−1} $参数化，其中每个分量$p_i$表示第$i$个状态的概率
  • 高斯分布（正态分布） ：
    $$\mathcal{N}(x;\mu ,{\sigma }^2)=\sqrt{\frac{1}{2\pi {\sigma }^2}}\text{exp}\left(-\frac{1}{2{\sigma }^2(x-\mu {)}^2}\right)$$
    • 正态分布由两个参数控制，$\mu \in \mathbb{R}$ 和 $\sigma \in (0,\infty )$
    • 参数 $\mu$ 给出了中心峰值的坐标，也是分布的均值：$E[x]=\mu$
    • 分布的标准差用 $\sigma$ 表示，方差用 ${\sigma }^2$表示
  • 泊松分布
    • $P(X=k)=\frac{{\mathrm{e}}^{-\lambda }{\lambda }^k}{k!}$
    • 单位时间、单位长度、单位面积、单位体积中发生某一事件的次数常可以用泊松分布刻画
    • $\lambda$是单位时间（或单位面积）内随机事件的平均发生率
  • 指数分布
    • $P(x;\lambda )=\lambda 1_{x\ge 0}\text{exp}(-\lambda x)$
  • Laplace分布
    • $\text{Laplace}(x;\mu ,\gamma )=\frac{1}{2\gamma }\text{exp}\left(-\frac{|x-\mu |}{\gamma }\right)$
    • 可以看作是两个指数分布“背靠背”在一起
  • Dirac分布和经验分布
    • Dirac分布：概率分布中的所有质量都集中在一个点上
      • $P(x)=\delta (x-\mu )$
    • Dirac分布经常作为经验分布(可理解为“采样”)的一个组成部分出现
      • $\hat{p}(\mathbf{x})=\frac{1}{m}{\sum }_{i=1}^m\delta (\mathbf{x}-{\mathbf{x}}^{(\mathbf{i})})$
  • 分布的混合
    • 通过组合一些简单的概率分布来定义新的概率分布
• 常用函数的有用性质
  • logistic sigmoid函数
    • $\sigma (x)=\frac{1}{1+\text{exp}(-x)}$
    • 可以用来产生Bernoulli分布中的参数$\varphi$ $(0,\infty )$
  • softplus函数
    • $\zeta (x)=\text{log}(1+\text{exp}(x))$
    • 可以用来产生正态分布的$\sigma$参数
    • 是ReLu函数（ $x^{+}=\text{max}(0,x)$ ）的“平滑”形式
• 贝叶斯规则
  • 已知$P(y|x)$，要计算$P(x|y)$，若知道$P(x)$，则可使用贝叶斯规则
    • $P(x|y)=\frac{P(x)P(y|x)}{P(y)}=\frac{P(x)P(y|x)}{{\sum }_{x}P(y|x)P(x)}$

信息论

使用信息论的一些关键思想来描述概率分布或者量化概率分布之间的相似性。

• 自信息：定义一个事件$\text{x}=x$的自信息为：
  • $I(x)=-\text{log}P(x)$
    • 底数为e，则单位为奈特；底数为2，则单位为比特
  • 自信息只处理单个的输出
• 香农熵：对整个概率分布中的不确定性总量进行量化
  • $H(\text{x})={\mathbb{E}}_{\text{x}\sim P}[I(x)]=-{\mathbb{E}}_{\text{x}\sim P}[\text{log}P(x)]$
  • “熵”：越“混乱”越大——越不确定越大
• KL散度：衡量对同一随机变量x的两个单独概率分布 $P(x)$和$Q(x)$的差异
  • $D_{KL}(P||Q)={\mathbb{E}}_{\text{x}\sim P}[\text{log}P(x)-\text{log}Q(x)]$
  • 分布几乎处处相同时KL散度为0
  • 通常$D_{KL}(P||Q)\ne D_{KL}(Q||P)$
• 交叉熵：
  • $H(P,Q)=H(P)+D_{KL}(P||Q)$
  • $H(P,Q)=-{\mathbb{E}}_{\text{x}\sim P}\text{log}Q(x)$

数值计算

• 上溢和下溢

  • 数值分析概念，运算时考虑其影响即可。一般调库时不需要考虑。

• 病态条件

  • 数值分析概念，考虑函数$f(\mathbf{x})={\mathbf{A}}^{-1}\mathbf{x}$，当$A\in {\mathbb{R}}^{n\times n}$具有分解特征值时，条件数为 max ⁡ i , j ∣ λ i λ j ∣ \max _{i,j} \left | \cfrac{\lambda_i}{\lambda_j} \right | maxi,j​ ​λj​λi​​ ​，越大，矩阵求逆对误差越敏感。

• 基于梯度的优化方法

  • 把要最小化或最大化的函数称为目标函数
  • 要对其进行最小化时，称为
    • 代价函数cost function
    • 损失函数loss function
    • 误差函数error function
  • 导数
  • 梯度下降
  • 局部最小，局部最大，全局最小，全局最大
  • 偏导数
  • 梯度
    • 记为${▽}_{\mathbf{x}}f(\mathbf{x})$
    • 多维情况下，临界点是梯度中所有元素都为0的点
  • 在$\mathbf{u}$方向的方向导数是函数$f$在$\mathbf{u}$方向的斜率
    • 是函数$\frac{\partial }{\partial \alpha }f(\mathbf{x}+\alpha \mathbf{u})$关于$\alpha$的导数
    • 当$\alpha =0$时，$\frac{\partial }{\partial \alpha }f(\mathbf{x}+\alpha \mathbf{u})={\mathbf{u}}^T{▽}_{\mathbf{x}}f(\mathbf{x})$
    • 找到使$f$下降最快的方向，计算方向导数：
      $$\begin{array}{c}\underset{\mathbf{u},{\mathbf{u}}^{\top }\mathbf{u}=1}{\min }{\mathbf{u}}^{\top }{\nabla }_{\mathbf{x}}f(\mathbf{x})\\ =\underset{\mathbf{u},{\mathbf{u}}^{\top }\mathbf{u}=1}{\min }\Vert \mathbf{u}{\Vert }_2{\Vert {\nabla }_{\mathbf{x}}f(\mathbf{x})\Vert }_2\cos \theta \end{array}$$
      • 其中$\theta$是$\mathbf{u}$与梯度的夹角
      • 将$\Vert \mathbf{u}{\Vert }_2=1$代入，忽略与$\mathbf{u}$无关的项，简化得${\min }_{\mathbf{u},{\mathbf{u}}^{\top }\mathbf{u}=1}\cos \theta$
      • 可见在负梯度方向上移动可以最快减小$f$
    • 梯度下降建议更新为
      • $${\mathbf{x}}^{\prime }=\mathbf{x}-ϵ{\nabla }_{x}f(\mathbf{x})$$
      • 其中 $ϵ$ 为学习率（learning rate）

• 梯度之上：Jacobian和Hessian

  • Jacobian矩阵：如果有一个函数$\mathbf{f}:{\mathbb{R}}^m\to {\mathbb{R}}^n$，则Jacobain矩阵定义为：
    • $\mathbf{J}\in {\mathbb{R}}^{n\times m}{\mathbf{J}}_{i,j}=\frac{\partial }{\partial x_j}f(\mathbf{x}{)}_i$
  • 二阶导数是对函数曲率的衡量，影响基于梯度的预测值。
  • Hessian矩阵：函数具有多维输入时，二阶导数也有很多，将这些导数合并成一个矩阵就是Hessian矩阵，定义为：
    • $\mathbf{H}(f)(\mathbf{x}{)}_{i,j}=\frac{{\partial }^2}{\partial x_i\partial x_j}f(\mathbf{x})$
    • 在深度学习中，大部分时候$H_{i,j}=H_{j,i}$，因此大部分其是实对称矩阵，可将其分解成一组实特征值和一组特征向量的正交基
    • 在特定方向$\mathbf{d}$上的二阶导数可以写成 ${\mathbf{d}}^{\mathbf{T}}\mathbf{Hd}$
      • 当$\mathbf{d}$是$\mathbf{H}$的一个特征向量时，这个方向的二阶导数就是对应的特征值
      • 对于其他的方向$\mathbf{d}$，方向二阶导数是所有特征值的加权平均，权重在 0 和 1 之间，且与$\mathbf{d}$夹角越小的特征向量的权重越大。最大特征值确定最大二阶导数，最小特征值确定最小二阶导数
    • 可以通过方向二阶导数预期一个梯度下降步骤能表现的多好
      • 用泰勒级数近似在点${\mathbf{x}}^{(0)}$处作$f(\mathbf{x})$的近似二阶泰勒级数，梯度下降的学习率可代入并计算得：当${\mathbf{g}}^{\mathbf{T}}\mathbf{Hg}$ (g是梯度，H是Hessian)为正时，最优步长为：
        • ${ϵ}^{\ast }=\frac{{\mathbf{g}}^{\mathbf{T}}\mathbf{g}}{g^{T}Hg}$
    • 二阶导数还可以被用于确定一个临界点是否是局部极大点、局部极小点或鞍点（二阶导数测试）
  • 仅使用梯度信息的优化算法被称为一阶优化算法，如梯度下降
  • 使用 Hessian 矩阵的优化算法被称为二阶最优化算法，如牛顿法
  • 深度学习中，限制函数满足 Lipschitz 连续或其导数Lipschitz连续可以保证优化算法的适用。Lipschitz 连续函数的变化速度以 Lipschitz常数$\mathcal{L}$为界：
    • $\forall \mathbf{x},\forall \mathbf{y},|f(\mathbf{x})-f(\mathbf{y})|\le \mathcal{L}\Vert \mathbf{x}-\mathbf{y}{\Vert }_2$

• 约束优化

  • 希望在$\mathbf{x}$的某些集合$\mathbb{S}$中找$f(\mathbf{x})$的最大值或最小值。这被称为约束优化
  • 集合$\mathbb{S}$内的点$\mathbf{x}$被称为 可行点（feasible）
  • 找到在某种意义上小的解的常见方法是强加一个范数约束
  • Karush–Kuhn–Tucker（KKT）方法是针对约束优化非常通用的解决方案

梯度下降法计算线性最小二乘

• 对式 $f(\mathbf{x})=\frac{1}{2}\Vert \mathbf{A}\mathbf{x}-\mathbf{b}{\Vert }_2^2$ 找到最小化的$\mathbf{x}$的值
• 计算梯度：
  $${\nabla }_{x}f(\mathbf{x})={\mathbf{A}}^{\top }(\mathbf{A}\mathbf{x}-\mathbf{b})={\mathbf{A}}^{\top }\mathbf{A}\mathbf{x}-{\mathbf{A}}^{\top }\mathbf{b}$$
  使用梯度下降法：
   while  ∥ A ⊤ A x − A ⊤ b ∥ 2 > δ  do  x ← x − ϵ ( A ⊤ A x − A ⊤ b )  end while  \begin{aligned} & \text { while }\left\|\boldsymbol{A}^{\top} \boldsymbol{A} \boldsymbol{x}-\boldsymbol{A}^{\top} \boldsymbol{b}\right\|_2>\delta \text { do } \\ & \qquad \boldsymbol{x} \leftarrow \boldsymbol{x}-\epsilon\left(\boldsymbol{A}^{\top} \boldsymbol{A} \boldsymbol{x}-\boldsymbol{A}^{\top} \boldsymbol{b}\right) \\ & \text { end while } \end{aligned} ​ while  ​A⊤Ax−A⊤b ​2​>δ do x←x−ϵ(A⊤Ax−A⊤b) end while ​