概率统计、数值优化算法

概率统计：

样本空间：一个随机试验（或随机事件）所有可能结果的集合
样本点：随机试验中的每个可能结果
随机变量：本质上是一个实值函数映射，即为每一个实验的结果映射为一个数值。注意区别“随机变量”的定义与“随机变量取值的概率”的定义.

Eg:在抛一枚均匀的硬币过程中，将正面映射为1，反面映射为0，则随机变量X的定义为X(正面)=1，X(反面)=0。此时，随机变量取值的概率定义为P(X(正面)=1)=P(X(反面)=0)=0.5。很显然，随机变量X的定义时存在一个映射，随机变量取值的概率定义时又存在一个概率映射，即从样本点到随机变量取值的概率过程进行了两步映射！

数学期望：
（1.）若离散型随机变量$X$的分布律为：
$$P(X=x_k)=p_k,k=1,2,\cdots$$
若级数${\sum }_{k=1}^{\infty }{x}_k{p}_k$绝对收敛，则随机变量$X$的数学期望
$$E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k$$
（2.）若连续型随机变量$X$的概率分布密度函数为$f(x)$，若积分${\int }_{-\infty }^{\infty }xf(x)dx$绝对收敛，则随机变量$X$的数学期望
$$E(X)={\int }_{-\infty }^{\infty }xf(x)dx$$
方差：
$$Var(X)=E([X-E(X){]}^2)$$
协方差：
$$\begin{gathered} Cov(X,Y)=E([X-E(X)][Y-E(Y)]) \\ =E(XY)-E(X)\cdot E(Y) \end{gathered}$$
相关系数：
$${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{Var(X)}\sqrt{Var(Y)}}$$
熵：度量随机变量概率分布的不确定性。
$$H(X)=-\sum _{i=1}^n{p}_i\log p_i$$
条件熵：在已知随机变量$X$的条件下，随机变量$Y$的不确定性。
$$H(Y|X)=E_X[H(Y|X)]=\sum _{i=1}^{n}P(X=x_i)H(Y|X=x_i)$$
$$H(Y|X=x_i)=\sum _{j=1}^m[-P(Y=y_j|X=x_i)\log P(Y=y_j|X=x_i)]$$
互信息，信息增益：给定随机变量$X$后，随机变量$Y$的不确定性削减程度。
$$I(X,Y)=H(Y)-H(Y|X)$$
相对熵：也叫KL散度，度量真实分布$p$和非真实分布$q$之间的差异，差异越大，相对熵越大。
$$D(p||q)=H(p,q)-H(q)=\sum _i{p}_{i}log\frac{p_i}{q_i}$$
交叉熵：按不真实分布q来编码样本所需的编码长度的期望【信息熵(即“熵”)可以理解为“按真实分布p来编码样本所需的编码长度的期望”】
$$\sum _i{p}_{i}log\frac{1}{q_i}$$

数值优化算法：

机器学习的训练模型，最终都归结为最优化问题，即寻找最优参数，使得模型的误差损失函数减小。
通常，$x_0$是$f(x)$的极小值点的必要条件是$\nabla f(x_0)=0$。简单情况可以解析求解；但在某些复杂情况下，需要数值求解极小值点，即通过迭代法，利用逼近序列求极小值点。所以，优化问题转化为“如何得到逼近极小值的极小化点序列，包括迭代步长和迭代方向”：
$$x^{k+1}=x^k+{\lambda }_k{d}_k$$
通常，要求迭代序列$(x^0,x^1,\cdots ,x^k,\cdots )$是收敛的，且使$f(x)$单调递减(当然，存在间隔性递减的优化算法，但是这里不考虑)。

下面，先考虑记住非约束优化算法。

(1.)梯度下降法：

每一步迭代的方向沿着当前点的梯度方向的反方向。
每次迭代使用的训练数据集范围：
Batch Gradient Descent：误差损失函数由全量训练数据的误差构成，
Stochastic Gradient Descent：每次更新只考虑一个样本数据的误差损失，可在线更新，
Mini-Batch Gradient Descent：优化目标函数包含$n$个样本的数据($n$一般较小，$10\sim 500$)。
更新策略：
a.)固定步长，负梯度方向：步长太小收敛慢，步长太大震荡
b.)动量更新，方向修正(在一定程度上保留之前更新的方向$v_{i-1}$，同时也利用当前的梯度方向$d({\theta }^{i-1})$进行微调)：
$$迭代方向：v_i=\mu v_{i-1}+\alpha d({\theta }^{i-1})$$
$$迭代参数序列点：{\theta }^i={\theta }^{i-1}-v_i$$
c.)改进的动量更新(将迭代方向$v_i$对${\theta }^i$的作用进行拆分)：
$$中间量：({\theta }^{i-1}{)}^{{}^{\prime }}={\theta }^{i-1}-\mu v_{i-1}$$

$$中间量梯度：{\theta }^i=({\theta }^{i-1}{)}^{{}^{\prime }}-d(({\theta }^{i-1}{)}^{{}^{\prime }})$$
d.)自适应步长更新(学习率$\alpha$在每个方向固定，迭代时容易被卡在鞍点)：
$$累加梯度：ac{c}_i=ac{c}_{i-1}+(d({\theta }_{i-1}){)}^2$$
$${\theta }_i={\theta }_{i-1}-\frac{\alpha }{\sqrt{ac{c}_i+ϵ}}d({\theta }_{i-1})$$
从上式可见，当累加梯度比较小时，学习率会比较大，迭代步长变大，收敛快；当累加梯度比较大是，学习率会比较小，迭代步长变小，防止迭代过头。学习率会随迭代次数增长而减小，在接近目标函数的极小值时，不会因为学习率过大而走过头。

(2.)共轭梯度法：

由于，可以将任何二次可微的函数做二阶Taylor展开作近似，所以下面只叙述二次型的优化：
$$f(x)=\frac{1}{2}{x}^{T}Qx+b^{T}x+c$$
其中$x=(x_1,x_2,\cdots ,x_n{)}^T,Q^T=Q\in R^{n\times n}$。如果找到一组关于$Q$共轭的基，那么就可以将$f(x)$进行各维度变量的分离，再分别沿每一个维度方向进行一维搜索：
$$p_i^{T}Q{p}_j=0，i̸=j$$
$$f(Px)=\frac{1}{2}(Px{)}^{T}Q(Px)+b^T(Px)+c$$
$$=\sum _{i=1}^n(\frac{1}{2}{x}_i^T{p}_i^{T}Q{p}_i{x}_i+b^T(p_i{x}_i))+c$$
$$=f_1(x_1)+f_2(x_2)+\cdots +f_n(x_n)+c$$
所以，优化目标就是寻找有效的关于$Q$共轭基向量组$p_1,p_2,\cdots ,p_n$:
$$方向合成：p_{k+1}=-\nabla f(x^{k+1})+{\lambda }_k{p}_k$$
$$迭代点更新：x^{k+1}=x^k+{\alpha }_k{p}_k$$
上式中，方向合成参数${\lambda }_k$由基共轭条件$p_k^{T}Q{p}_{k+1}=0$求得，迭代点更新步长参数${\alpha }_k$由精确线性搜索$\nabla f(x^{k+1})=0$求得。

(3.)牛顿法：

对任意二阶可微的函数$f(x)$进行二阶Taylor展开：
$$f(x)\approx f(x^k)+\nabla f(x^k{)}^T(x-x^k)+\frac{1}{2}(x-x^k{)}^T{\nabla }^{2}f(x^k)(x-x^k)$$
则在$f(x)$的极值点$x^{\ast }$处由$\nabla f(x^{\ast })=0$得：
$$x^{\ast }=x^k-\frac{\nabla f(x^k)}{{\nabla }^{2}f(x^k)}$$
类比于前面的迭代算法，这里迭代方向是$d_k=\nabla f(x^k)$，步长为${\lambda }_k=({\nabla }^{2}f(x^k){)}^{-1}$

(4.)拟牛顿法：

牛顿法里，步长Hessian矩阵的逆在实际计算中计算量过大，考虑寻求替代。对$f(x)$在$x^{k+1}$处二阶Taylor展开式，然后求导，再令$x=x^{k+1}$，有：
$$\nabla f(x^{k+1})-\nabla f(x^k)={\nabla }^{2}f(x^{k+1})(x^{k+1}-x^k)$$
上式就是拟牛顿条件，用${\nabla }^{2}f(x^{k+1})$近似牛顿法中的Hessian矩阵。
很多经典的算法，如DFP算法、BFGS算法等都可以用于求解Hessian矩阵及其逆矩阵，进一步，还可以证明迭代过程保持正定性等性质。

对于含约束的优化问题，可以利用Lagrange乘子法转化成无约束优化问题。