ubuntu之路——day8.4 Adam自适应矩估计算法

基本上讲，Adam就是将day8.2提到的momentum动量梯度下降法和day8.3提到的RMSprop算法相结合的优化算法

首先初始化 S_dW = 0 S_db = 0 V_dW = 0 V_db = 0

On iteration t：

　　compute dw，db using current Mini-batch

　　V_dW = β₁v_dW  +  (1-β₁)dW　　V_db  = β₁v_db +  (1-β₁)db    先做momentum

　　S_dW = β₂S_dW  +  (1-β₂)dW²S_db  = β₂S_db +  (1-β₂)db²再做RMSprop

       偏差修正：V_dw^corrected = v_dW / (1 - β₁^t),V_db^corrected = v_db / (1 - β₁^t)

 　　　　　　  S_dw^corrected = S_dW / (1 - β₂^t),S_db^corrected = S_db / (1 - β₂^t)

       W = W - α（V_dw^corrected / sqrt.S_dw^corrected+ε），b = b - α（V_db^corrected / sqrt.S_db^corrected+ε）

超参数的设定：

α：learning rate，需要一系列的尝试

β₁：0.9 (为了计算dw) one moment一阶矩

β₂：0.999 (为了计算dw²) second moment二阶矩

ε：10^-8

注意除α需要设定外，Adam算法的β₁、β₂、ε三个参数都不必去设定，根据Andrew Ng的解释来看很少有业内人士改变Adam算法原文的这三个参数

Adam = adaptive moment estimation