60.网络训练中的超参调整策略—学习率调整2

4、inverse_time_decay

inverse_time_decay(learning_rate, global_step, decay_steps, decay_rate,
                   staircase=False, name=None)

逆时衰减,这种方式和指数型类似。如图,
60.网络训练中的超参调整策略—学习率调整2_第1张图片
5、cosine_decay

cosine_decay(learning_rate, global_step

你可能感兴趣的:(深度学习,学习,人工智能,机器学习)