MMsegmentation-随机初始化
系列文章目录
文章目录
- 系列文章目录
- 前言
- 一、初始化单个模块
- 二、初始化多个模块
- 总结
前言
mmlab下游分支调用权重随机初始化使用参考mmengine的说明文档
mmengine支持模型初始化方法包括：BaseInit, Caffe2XavierInit, ConstantInit,KaimingInit, NormalInit, PretrainedInit,TruncNormalInit, UniformInit, XavierInit,bias_init_with_prob, caffe2_xavier_init,constant_init, initialize, kaiming_init, normal_init,trunc_normal_init, uniform_init, update_init_info,xavier_init_
github链接
一、初始化单个模块
init_cfg=dict(type='Xavier', layer='Linear', distribution='uniform'),
二、初始化多个模块
代码如下（示例）：
init_cfg=[dict(type='Xavier', layer='Conv2d', distribution='uniform'),
dict(type='Xavier', layer='Linear', distribution='uniform')],
总结
模型初始化对模型收敛过程与模型泛化性能十分重要，相较于具有大量数据的预训练权重，数据量较少的话随机初始化还是一种较为可靠的方式