1.神经网络入门总结

常见激励（激活）函数

1. ReLU （Rectifier Linear Unit，整流线性单元）

   神经网络中最常用的非线性函数

   数学形式：$f(x)=max(0,x)$
   

2. ReLU6

   为了抵消ReLU的线性增长部分，会在min()中嵌入max（0，x）

   数学形式：$f(x)=min(6,max(0,x))$

   计算速度快，解决了梯度消失问题

   

3. Sigmoid

   是最常用的连续 & 平滑的激励函数。也称为Logistic函数

   数学形式：$f(x)=\frac{1}{1+e^{-x}}$

   但是在训练过程中，反向传播项趋近于0，因此不怎么使用。

   Sigmoid有一个很好的性质：$f^{\prime }(x)=f(x)\ast [1-f(x)]$，因此大大简化了其梯度的计算。

   

4. Tanh（双曲正切函数）

   和sigmoid有点相似，但是值域不同——tanh函数为（0,1），而sigmoid函数为（-1,1）

   数学形式：$f(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}=1-\frac{2e^{-x}}{e^x+e^{-x}}$

   

5. Softsign

   softsign是符号函数的连续但不平滑的估计

   数学形式：$f(x)=\frac{x}{|x|+1}$

   

6. Softplus

   softplus是ReLU函数的平滑版

   数学形式：$f(x)=log(e^x+1)$

   另外，当$x\to \infty ,softplus\to \infty ,softsign(x)\to 1$

   ​ $x\to -\infty ,softplus\to 0,softsign(x)\to -1$

   

7. ELU(Exponetial Linear Unit ，指数线单元)

   ELU和softplus函数相似，不同点在于:

   $x\to -\infty ,softplus\to 0,ELU(x)\to -1$

   数学形式：KaTeX parse error: No such environment: equation at position 7: \begin{̲e̲q̲u̲a̲t̲i̲o̲n̲}̲f(x)=\begin{cas…

常见损失函数

回归算法の损失函数——预测

1. L1正则（MAE，平均绝对值误差）

   数学形式：$MAE=\frac{1}{n}{\sum }_{i=1}^n|y_i-y_{predict}|$

   优点：

   • 对异常值具有较好鲁棒性

   缺点：

   • 梯度不变是个严重问题，即使对于很小的损失，梯度也很大，不利于模型收敛，常使用变化的学习率解决

2. L2正则（MSE，Mean Squared Error 均方误差）

   数学形式：$MSE=\frac{1}{n}{\sum }_{i=1}^n(y_i-y_{predict}{)}^2$

   优点：

   • 计算方便，衡量误差较准确
   • 梯度随着误差增大或减小，收敛效果好

3. Huber损失函数

   试图利用L1和L2正则来削减极值出的陡峭，使得目标值附近连续。

   表达式依赖于超参数$\delta$（需要自己手动设定）

   数学形式：

   

   

分类算法の损失函数——分类

1. Hinge损失函数

   主要用来评估支持向量机算法，有时用来评估神经网络算法

   数学形式：

   $L(y)=max(0,1-y_{predict}\ast y)$

2. Cross-entropy Loss(两类交叉熵损失函数/逻辑损失函数)

   有时也称为“逻辑损失函数”。

   当预测两类目标0 or 1时，希望度量预测值到真实值的距离，这个距离就可以用信息论中的交叉熵。

   数学形式：

   $L(y)={\sum }_{i=1}^n[-y_{i}log(y_{predict(i)})-(1-y_i)log(1-y_{predict(i)})]$ （$y_i\in \{0,1\}$）

   

3. Sigmoid交叉熵损失函数（Sigmoid cross entropy Loss with Logits）

   和楼上的函数不同，这个损失函数在楼上的基础上，将$y_{predict(i)}$通过sigmoid函数包装，再计算交叉熵损失

   数学形式：

   $L(y)={\sum }_{i=1}^n[-y_{i}log(f(y_{predict(i)}))-(1-y_i)log(f(1-y_{predict(i)}))]$

   $f(x)=sigmoid(x)=\frac{1}{1+e^{-x}}$

4. 加权交叉熵损失函数(Weighted cross entropy Loss with Logits)

   是Sigmoid交叉熵损失函数的加权，只对正目标加权(权重为$weight$，需要自己手动设置)

   数学形式：

   $L(y)={\sum }_{i=1}^n[-y_{i}log(f(y_{predict(i)}))\ast weight-(1-y_i)log(f(1-y_{predict(i)}))]$

   $f(x)=sigmoid(x)=\frac{1}{1+e^{-x}}$

5. Softmax交叉熵损失函数（Softmax cross entropy Loss）

   和前面有些许不一样，这个时候并不是“二分类问题”,而是”多分类问题“。

   因此这里稍微有点不一样：

   数学形式：

   对于最后一层的输出$z$：该物品为种类i的概率：$y_{predict(i)=p_i}=softmax(z)=\frac{e^{z_i}}{{\sum }_{k=1}^{numclass}{e}^{z_k}}$

   对于该物品预测的损失函数：$L(y)=-{\sum }_{j=1}^{numclass}{y}_{j}log(p_j)$（只会有一个$y_j$为1，其余都为0）

6. 稀疏Softmax交叉熵损失函数（Sparse Softmax cross entropy Loss ）

   和上一个损失函数差不多，获得的结果也差不多，但是训练的标签向量必须是one-hot encode（独热码）

Mini-batch

​ Mini-batch的思想是一次训练数据集的一小部分，而不是整个数据集。

​ 方法是——对数据进行随机混洗，然后创建mini-batches。对每个Mini-batch,都使用梯度下降训练网络权重（实际上是在对每个batch进行SGD[随机梯度下降]的操作）

​ 假设在一个batch里面，有$N$个样本。

​ 所以结合前面的介绍，一个batch的平均损失函数应该为：$Loss=-\frac{1}{N}{\sum }_{k=1}^N{L}_k(y)$，用平均损失函数来进行权重更新。

最优化

所谓最优化，就是学习到让损失函数$Loss$最小的一系列权重矩阵。

寻找权重，得沿着损失函数的梯度下降的方向，进行更新，得到局部最小值（凸函数为最小值）。

方法：

• 数值微分

  根据导数（梯度）的定义：

  $\frac{df(x)}{dx}=li{m}_{h\to 0}\frac{f(x+h)-f(x)}{h}$

  实际上我们使用中心差值公式更好：

  $\frac{df(x)}{dx}=li{m}_{h\to 0}\frac{f(x+h)-f(x-h)}{2h}$

def eval_numerical_gradient(f,x):
    h=0.00001	#1e-5
    return (f(x+h)-f(x-h))/(2*h)

• 手动求导（梯度）

反向传播（重在理解）

网络中上层的值是由下层的值计算决定的，因此当上层一个结点$w$的$Los{s}_w=l$时，下层结点$v$就要对$Los{s}_w$负相应权重的责任,因此下层结点$v$的$Loss$为$Los{s}_v=Los{s}_w\ast W_{u,v}$。因此，结点$v$的值更新为$Valu{e}_v^{\prime }=Valu{e}_v-Los{s}_v\ast gra{d}_v$(沿着梯度反向更新，$gra{d}_v$取决与上层下层间使用的激活（励）函数)

基于测试集的评价

这里有三个概念：

• batchsize(批处理大小)：每次SGD（随机梯度下降）训练，即每次训练都在训练集中选batchsize 个样本进行训练 。
• iteration：使用batchsize个样本训练一次。
• epoch：一个完整的数据集通过了神经网络并且返回了一次，的过程。

正则化（Regularization）

​ 直译过来为“规则化”，希望模型学习到的规则更加“稳定”，避免预测一些离奇的结果。

​ 正则化的目的就是——希望在尽量不影响，原模型和数据集之间损失的前提下，使得模型权重变小（权重的减小，自然让模型的输出波动最小，从而更稳定），而正则化项的设计就是这个原理。

​ 严格的数学形式：

​ $Loss=\frac{1}{2}{\sum }_{i=1}^n\{t_n-W^T\varphi (X_n){\}}^2+\frac{\lambda }{q}{\sum }_{j=1}^M|w_j{|}^q$

​ 其中：

• 前半部分是一个标准的L2损失函数：

  • $t_n$：训练的真实输出
  • $W$：权重矩阵
  • $\varphi (x)$：激活函数

• 后半部分为正则化项：

  • $\lambda$：正则化系数，$\lambda$越大，限制越强
  • $q$：$q$取$1$被称为L1正则化，取$2$被称为L2正则化