MXNet/Gluon 中网络和参数的存取方式
Gluon是MXNet的高层封装，网络设计简单易用，与Keras类似。随着深度学习技术的普及，类似于Gluon这种，高层封装的深度学习框架，被越来越多的开发者接受和使用。
在开发深度学习算法时，必然会涉及到网络（symbol）和参数（params）的存储与加载，Gluon模型的存取接口，与MXNet略有不同。在MXNet体系中，网络与参数是分离的，这样的设计，有利于迁移学习（Transfer Learning）中的参数复用。
本文分别介绍MXNet和Gluon中网络和参数的存取方式。
在MXNet体系中，net = symbol + params。
本文地址：https://blog.csdn.net/caroline_wendy/article/details/80494120
MXNet
MXNet中网络和参数是分离的，这两部分需要分别存储和读取。
网络
MXNet的网络（symbol）使用json格式存储：
- 创建填充变量data，即
mx.sym.var('data')； - 将填充变量置入网络，即
net_triplet(vd)； - 获取填充之后的网络结构，转换为json对象，即
vnet.tojson()； - 将json对象写入文件，即
write_line(json_file, sym_json)。
则，最终的json文件就是MXNet的网络结构。
实现：
vd = mx.sym.var('data')
vnet = net_triplet(vd)
sym_json = vnet.tojson()
json_file = os.path.join(ROOT_DIR, 'experiments', 'sym.json')
write_line(json_file, sym_json)或
sym_json = net_triplet(mx.sym.var('data')).tojson()
json_file = os.path.join(ROOT_DIR, 'experiments', 'sym.json')
write_line(json_file, sym_json)这种存储网络的方式，同时适用于MXNet和Gluon网络。
参数
MXNet的参数（params）存储比较简单：
- 在训练过程中，自动调整网络的参数；
- 在训练过程中，调用网络的
save_params()函数，即可保存参数。
在参数的文件名中，加入epoch和准确率，有利于参数选择。
实现：
params_path = os.path.join(
ROOT_DIR, self.config.cp_dir,
"triplet_loss_model_%s_%s.params" % (epoch, '%0.4f' % dist_acc)
) # 模型文件位置
self.model.save_params(params_path) # 存储模型读取
MXNet网络和参数的加载方式：
- 网络：调用SymbolBlock()创建网络，output是已加载的Json结构，input是填充的data变量；
- 参数：调用load_params()加载参数，params是参数路径，ctx是上下文，即CPU或GPU环境。
实现：
sym = os.path.join(ROOT_DIR, self.config.cp_dir, "sym.json")
params = os.path.join(ROOT_DIR, self.config.cp_dir, "triplet_loss_model_88_0.9934.params")
self.model = gluon.nn.SymbolBlock(outputs=mx.sym.load(sym), inputs=mx.sym.var('data'))
self.model.load_params(params, ctx=ctx)Gluon
Gluon对比与MXNet，提供更加高层的存取方法，简单高效。
存储
除了MXNet的存储方式之外，Gluon网络提供特定的export()方法，同时支持导出网络和参数：
- 输入：path是文件前缀；epoch是epoch数，支持训练中多次保存；
- 输出：
[前缀]-symbol.json的网络；[前缀]-[epoch 4位].params的参数；
实现：
symbol_file = os.path.join(ROOT_DIR, self.config.cp_dir, 'triplet-net')
self.model.export(path=symbol_file, epoch=epoch) # gluon的export注意：export()方法只能位于训练阶段，不能位于设计阶段。
读取
Gluon支持通过文件前缀（即export()的输出）的方式，加载网络与参数：
- load_checkpoint()，读取前缀数据：
- 输入：prefix是前缀，epoch是epoch数；
- 输出：sym是网络，
arg_params是权重参数，aux_params是辅助状态；
- SymbolBlock()，设置网络结构，与MXNet类似：
- outputs：已加载的Json结构；
- inputs：填充的data变量；
- 设置
collect_params()参数，区分：
- 权重参数，
arg_params； - 辅助状态，
net_params；
- 权重参数，
当加载完成网络和参数之后，就完成了Gluon模型的创建。
实现：
prefix = os.path.join(ROOT_DIR, self.config.cp_dir, "triplet-net") # export导出的前缀
sym, arg_params, aux_params = mx.model.load_checkpoint(prefix=prefix, epoch=5)
net = gluon.nn.SymbolBlock(outputs=sym, inputs=mx.sym.var('data')) # 加载网络结构
# 设置网络参数
net_params = net.collect_params()
for param in arg_params:
if param in net_params:
net_params[param]._load_init(arg_params[param], ctx=ctx)
for param in aux_params:
if param in net_params:
net_params[param]._load_init(aux_params[param], ctx=ctx)错误
当出现如下错误时，即表示网络与参数的前缀不一致：
AssertionError: Parameter 'net_conv0_weight' is missing in file 'xxxx.params',
which contains parameters: 'dense0_bias', ..., 'batchnorm2_gamma'.
Please make sure source and target networks have the same prefix.也就是网络中的单元名称与参数中的单元名称不同，前缀不同。
解决方案：按照参数中的前缀，统一设置prefix即可，没有前缀则设置为空字符串，如：
net_triplet = HybridSequential(prefix='')因为，参数训练较慢，而网络容易修改，因此，优先修改网络的参数名称。
MXNet网络的存取方式，也可以用于Gluon网络，即Gluon是兼容MXNet的。在MXNet的基础上，Gluon还在不断地迭代和完善中，期待更多简洁的接口，降低深度学习的开发门槛，All with AI。
OK, that’s all! Enjoy it!