《动手学深度学习》Task03打卡

针对过拟合、欠拟合及其解决方案的认识

• 欠拟合（underfitting）：模型无法得到较低的训练误差；
• 过拟合（overfitting）：模型的训练误差远小于它在测试数据集上的误差。
  
  给定训练数据集，模型复杂度和误差之间的关系：
  
  

当对该隐藏层使用丢弃法时，该层的隐藏单元将有一定概率被丢弃掉。设丢弃概率为$p$，那么有$p$的概率$h_i$会被清零，有$1-p$的概率$h_i$会除以$1-p$做拉伸。丢弃概率是丢弃法的超参数。具体来说，设随机变量${\xi }_i$为0和1的概率分别为$p$和$1-p$。使用丢弃法时我们计算新的隐藏单元$h_i^{\prime }$

$$h_i^{\prime }=\frac{{\xi }_i}{1-p}{h}_i$$

由于$E({\xi }_i)=1-p$，因此

$$E(h_i^{\prime })=\frac{E({\xi }_i)}{1-p}{h}_i=h_i$$

针对梯度消失、梯度爆炸的认识

• 深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。
• 如果将每个隐藏单元的参数都初始化为相等的值，那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。在反向传播中，每个隐藏单元的参数梯度值相等。通常将神经网络的模型参数，特别是权重参数，进行随机初始化。
• 考虑环境因素
  协变量偏移：输入特征X改变；
  标签偏移：输出标签y改变；
  概念偏移：X到y之间出现新的映射关系。

针对循环神经网络进阶的认识

• RNN
  
  $H_t=\varphi (X_t{W}_{xh}+H_{t-1}{W}_{hh}+b_h)$
• LSTM
  
  $I_t=\sigma (X_t{W}_{xi}+H_{t-1}{W}_{hi}+b_i)$
  $F_t=\sigma (X_t{W}_{xf}+H_{t-1}{W}_{hf}+b_f)$
  $O_t=\sigma (X_t{W}_{xo}+H_{t-1}{W}_{ho}+b_o)$
  $C_t=tanh(X_t{W}_{xc}+H_{t-1}{W}_{hc}+b_c)$
  $C_t=F_t\odot C_{t-1}+I_t\odot C_t$
  $H_t=O_t\odot tanh(C_t)$
• GRU
  
  $R_t=\sigma (X_t{W}_{xr}+H_{t-1}{W}_{hr}+b_r)$
  $Z_t=\sigma (X_t{W}_{xz}+H_{t-1}{W}_{hz}+b_z)$
  $H_t=tanh(X_t{W}_{xh}+(R_t\odot H_{t-1})W_{hh}+b_h)$
  $H_t=Z_t\odot H_{t-1}+(1-Z_t)\odot H_t$
• 深度循环神经网络
  
  $$\begin{gathered} {\mathbf{H}}_t^{(1)}=\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(1)}+{\mathbf{H}}_{t-1}^{(1)}{\mathbf{W}}_{hh}^{(1)}+{\mathbf{b}}_h^{(1)}) \\ {\mathbf{H}}_t^{(\ell )}=\varphi ({\mathbf{H}}_t^{(\ell -1)}{\mathbf{W}}_{xh}^{(\ell )}+{\mathbf{H}}_{t-1}^{(\ell )} \\ {\mathbf{W}}_{hh}^{(\ell )}+{\mathbf{b}}_h^{(\ell )}) \\ {\mathbf{O}}_t={\mathbf{H}}_t^{(L)}{\mathbf{W}}_{hq}+{\mathbf{b}}_q \end{gathered}$$
• 双向循环神经网络
  $$\begin{gathered} \begin{array}{rl}{\mathbf{H}}_t& =\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(f)}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}^{(f)}+{\mathbf{b}}_h^{(f)})\\ {\mathbf{H}}_t& =\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(b)}+{\mathbf{H}}_{t+1}{\mathbf{W}}_{hh}^{(b)}+{\mathbf{b}}_h^{(b)})\end{array} \\ {\mathbf{H}}_t=({\mathbf{H}}_t,{\mathbf{H}}_t) \\ {\mathbf{O}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q \end{gathered}$$