caffe中参数设置的解析
lenet_solver.prototxt:
net: "examples/mnist/lenet_train_test.prototxt"
test_iter: 100
test_interval: 500
base_lr: 0.01
momentum: 0.9
type: SGD
weight_decay: 0.0005
lr_policy: "inv"
gamma: 0.0001
power: 0.75
display: 100
max_iter: 20000
snapshot: 5000
snapshot_prefix: "examples/mnist/lenet"
solver_mode: CPU
net：网络模型（训练网络模型、测试网络模型）
test_iter：测试的批次数，这个参数要与batch_size结合起来理解，例如：mnist数据集中测试样本总数为10000，一次执行全部数据效率很低，因此，我们将测试数据分几个批次来执行。假定我们设置batch_size为100，则需要迭代100次才能将10000个数据全部执行完，因此，将test_iter设置为100。执行完一次全部数据，称之为一个epoch
test_iterval：测试间隔，每训练500次进行一次测试
base_lr: 0.01
lr_policy: "inv"
gamma: 0.0001
power: 0.75
这四行是对学习率的设置，base_lr用来设置基础学习率，在迭代的过程中，可以对基础学习率进行调整，lr_policy用来设置调整策略。其中，lr_policy的设置以及相应的学习率的计算：（在开始训练模型时，一般采用高的学习速率，因为高的学习速率，优化速度快；但是到达某个节点后会变得充满随机性，此时需要降低学习速率，这样才能以较低的学习速率到达损失函数的更低点。）
- - fixed: 保持base_lr不变.
- - step: 如果设置为step, 还需要设置一个stepsize, 返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数
- - exp: 返回base_lr * gamma ^ iter， iter为当前迭代次数
- - inv: 如果设置为inv, 还需要设置一个power, 返回base_lr * (1 + gamma * iter) ^ (- power)
- - multistep: 如果设置为multistep, 还需要设置一个stepvalue。这个参数和step很相似，step是均匀等间隔变化，而multistep则是根据 stepvalue值变化
- - poly: 学习率进行多项式误差, 返回 base_lr (1 - iter/max_iter) ^ (power)
- - sigmoid: 学习率进行sigmod衰减，返回 base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))
type：优化算法的选择，目前caffe中有六种优化方法，参考博客：http://blog.csdn.net/qq_26898461/article/details/50445394
- Stochastic Gradient Descent (
type: "SGD"), - AdaDelta (
type: "AdaDelta"), - Adaptive Gradient (
type: "AdaGrad"), - Adam (
type: "Adam"), - Nesterov’s Accelerated Gradient (
type: "Nesterov") - RMSprop (
type: "RMSProp")
weight_decay：权重衰减，主要是为了防止过拟合
momentum：动量，参考博客
max_iter：最大迭代次数，这个参数设置太小的话，会导致没有收敛，精确度很低
display：在屏幕上的显示频率，每训练100次显示一次，如果设置为0，则不显示
snapshot: 5000
snapshot_prefix: "examples/mnist/lenet"solver_mode：设置运行模式，有CPU、GPU两种模式
lenet_train_test.prototxt :
name: "LeNet"
layer {
name: "mnist"
type: "Data"
top: "data"
top: "label"
include {
phase: TRAIN //在训练阶段包含该层
}
transform_param {
scale: 0.00390625 //对数据进行均一化，幅度归一化到同样的范围[0, 255]
}
data_param {
source: "examples/mnist/mnist_train_lmdb" //训练数据来源
batch_size: 64
backend: LMDB
}
}
layer {
name: "mnist"
type: "Data"
top: "data"
top: "label"
include {
phase: TEST //在测试阶段包含该层
}
transform_param {
scale: 0.00390625 //对数据进行均一化，幅度归一化到同样的范围[0, 255]
}
data_param {
source: "examples/mnist/mnist_test_lmdb" //测试数据来源
batch_size: 100
backend: LMDB
}
}
layer {
name: "conv1"
type: "Convolution"
bottom: "data"
top: "conv1"
param {
lr_mult: 1 //weight的学习率,需要乘以base_lr
}
param {
lr_mult: 2 //bias的学习率,需要乘以base_lr,一般bias的学习率是weight学习率的2倍
}
convolution_param {
num_output: 20 //卷积核的个数
kernel_size: 5 //卷积核的大小
stride: 1 //卷积核的步长
weight_filler { //权值初始化,有以下几种方式:xavier, constant, gaussian等
type: "xavier"
}
bias_filler { //偏置项的初始化,一般设置为constant,值全为0
type: "constant"
}
}
}
layer {
name: "pool1"
type: "Pooling"
bottom: "conv1"
top: "pool1"
pooling_param {
pool: MAX //池化方法,有：MAX,AVG,SHOCHASTIC
kernel_size: 2
stride: 2
}
}
...
其他参数：
decay_mult：权值衰减，需要乘以weight_decay，wi = wi -(base_lr * lr_mult) *dwi - (weight_dacay * decay_mult) * wi (dwi是误差关于wi的偏导数)
drop_ratio：丢弃数据的概率，和dropout层相关，详解：http://blog.csdn.net/u013989576/article/details/70174411
权值初始化的具体方法可以参考博客