mxnet 更新学习率方式
mxnet 更新学习率方式
https://github.com/gengyanlei/insightFace-gluon/blob/master/main.py 代码使用mxnet.gluon
1. 采用mxnet官方函数API 自动更改学习率 (按照epoch更新，mxnet.gluon)
mxnet.lr_scheduler 模块下面就可以；但是这里都是按照step执行的，如何按照pytorch那样在epoch下执行，每个epoch执行一次类似pytorch那样的lr_scheduler.step()，代码如下：
optimizer = gluon.Trainer(params=model.collect_params(), optimizer='sgd', optimizer_params={'learning_rate': args.lr, 'wd': 0.0001, 'momentum': 0.9, } ) # 不能在这里设置 'lr_shceduler': lr_scheduler，这里不是在epoch里面执行
lr_scheduler = mx.lr_scheduler.FactorScheduler(step=10, factor=0.1, base_lr=0.1)
for epoch in range(40):
lr_scheduler.__call__(num_update=epoch)
print(lr_scheduler.base_lr)
optimizer.set_learning_rate(lr_scheduler.base_lr)2. 采用自定义的更新学习率函数 (按照epoch更新，mxnet.gluon)
代码如下：
def lr_scheduler(base_lr, epoch, optimiser, steps, rate=0.1):
'''
:param base_lr: float baseline learning rate
:param epoch: int, current epoch
:param optimiser: optimiser,
:param steps: int, every steps's epoches
:param rate: float, lr update rate
:return: update lr
''' #个人喜欢自定义学习率设置函数，当然可以使用mxnet自带的update_lr_func, pytorch也是如此
lr = base_lr * (rate ** (epoch // steps))
optimiser.set_learning_rate(lr)
return # 不需要返回optimiser，仍然会更新lr3. 采用半官方半自定义的函数 (按照epoch更新，mxnet.symbol)
在model.fit( epoch_end_callback= )设置更新学习率，保存模型参数
opt = optimizer.SGD(learning_rate=base_lr, momentum=base_mom, wd=base_wd)
def epoch_end_callback(param):
'''
:param param: BatchParams [epoch=epoch, nbatch=nbatch, eval_metric=eval_metric, locals=locals()]
:return:
'''
epoch = param.epoch
opt.lr = base_lr * rate**(epoch // epoch_steps)
#optimizer是直接对其本身操作，是地址操作，并不是表面上看到的值传递，因此不需要返回！#4. 若是按照step操作，那么直接设置params，再传给optimizer就可以了
optimizer_params = {'wd': wd, 'momentum': momentum, 'lr_scheduler': lr_scheduler}