深度学习记录--RMSprop均方根

RMSprop(root mean square prop)

减缓纵轴方向学习速度,加快横轴方向学习速度,从而加速梯度下降

方法:

S_{dw}=\beta2 S_{dw}+(1-\beta2)(dw)^2

S_{db}=\beta2 S_{db}+(1-\beta2)(db)^2

w:=w-\alpha \frac{dw}{\sqrt{S_{dw}}+\varepsilon }

b:=b-\alpha \frac{db}{\sqrt{S_{db}}+\varepsilon }

\varepsilon =10^{-8}

深度学习记录--RMSprop均方根_第1张图片

原理:

不妨以b为纵轴,w为横轴(横纵轴可能会不同,因为是多维量)

为了让w梯度下降更快,则要使S_dw尽量小,即w每次减去一个大数字,所以w梯度下降更快

为了让b梯度下降更慢,则要使S_db尽量大,即b每次减去一个小数字,所以b梯度下降更慢

为了防止分母趋近于0,则加上一个常量\varepsilon,一般设置\varepsilon =10^{-8}

你可能感兴趣的:(深度学习记录,深度学习,人工智能)