【7】学习率退火

1、学习率退火介绍

在训练神经网络时,学习率都是随着训练而变化,这主要是由于在神将网络训练后期,如果学习率过高,会造成loss的震荡,但是如果学习率减小的过快,又会造成收敛变慢的情况。以下介绍学习率退火的方式:

1.1、分段常数衰减 

【7】学习率退火_第1张图片

1.2、指数衰减

【7】学习率退火_第2张图片

 1.3、1/t衰减

【7】学习率退火_第3张图片

 

你可能感兴趣的:(tensorflow2.0,机器学习)