【小记】Caffe网络定义：lr_mult和decay_mult

通常在 Caffe 的网络定义中，某些 layer 会有如下参数：

param {
	lr_mult: x
	decay_mult: y
}

• 当令 lr_mult = x 时，相当于该层的学习率为 solver.prototxt 中的 base_lr * x
• 特别地，当 lr_mult = 1 时，相当于该层的学习率就是 base_lr
• 当 lr_mult = 0 时，相当于固定该层的权重，不需要学习
• 当没有设置 lr_mult 和 decay_mult 时，默认等于 1，也就是该层的参数按照 base_lr 进行学习

如果看到某一层 lr_mult 和 decay_mult 都设为 0，就要考虑该层的参数不是通过更新权重得到的（也就是非学习来的），所以需要均设为 0。

---

参考：
https://github.com/shicai/DenseNet-Caffe/issues/24