深度学习神经网络学习日记

L1/L2正则化

L2 regularization term = w1^1+w2^2+...+wn^2

grad = 2(w1+w2+...+wn)   weight decay

L1 Regularization:  拉普拉斯分布  左右对称

L2 Regularization:高斯分布  w的平方项

拉普拉斯分布正则化能够使得模型更倾向于得到稀疏参数

稀疏参数的优点在特征选择上

优化器：

普通更新

x+=-learning_rate  * dx

动量更新

v= mu * V -learning_rate * dx  #与速度融合

x += v #与位置融合

di随机梯度下降

内斯特洛夫动量：

用下一步的梯度继续计算

x_ahead = x+mu*v

#计算dx_ahead(在x_ahead处的梯度，而不是x处的梯度

速度更新保持不变

位置更新变了形式

按照这一步的速度与上一步的差值

Adam优化器：

利用beta1，beta2两个参数

beta1 = 0.9

beta2 = 0.999

m  = beta1*m +(1-beta1)*dx

v = beta2*v +(1-beta2)*(dx**2)

x+=-learning_rate*m/(np.sqrt(v)+eps)

用动量去平滑

当前梯度与历史梯度的加权平均和（归一化）/根号下开方的速率做一个平滑

Adam比std平滑

没有动量/有动量

Adam

def __compute_step(self,idx,k.grad):

     momentum = self.mu*self.momentum_memory[idx][k]['momentum'] - self.lr*grad

    self.momentum_memory[idx][k]['momentum'] = momentum

可以求出momentum

return momentum

_init_momentum遍历模型每层参数

#Adam需要代入上一步的momentum与梯度进行计算

Adam总结：

1.设置beta1,beta2

2.取出第一步的均值标准差，第二步值的均值标准差

3.第一步= beta1*均值标准差+（1-beta1）*梯度

   第二部方差 = beta2*均值标准差+(1-beta2)*二阶梯度

   时间步+=1

4.存回momentum_memory

5.归一化操作

保留一阶矩，二阶矩，使用二者归一化更新方向