yolov3 darknet cfg配置文件参数详解

Darknet的cfg配置文件中，[xxx]表示网络的一层，其后的内容为该层的参数配置，[net]为特殊的层，用于配置整个网络，包含学习率，衰减系数等一系列超参数。

[net]      
# Testing
# batch=1               #测试时，batch和subdivisions都必须设置为1，否则会出错
# subdivisions=1
# Training
batch=64                #batch与一般意义上的batch概念稍有出入，在这里表示网络积累多少个样本后进行一次反向传播
subdivisions=16         #subdivisions表示将一个batch的图片分subdivisions次完成网络的前向传播

• 在Darknet中，batch和subdivisions是结合使用的，比如这里的batch=64，subdivisions=16 表示训练的过程中会将64张图片一次性加载进内存，但要分16次完成前向传播。也就是每次计算4张，而后将64张图片的loss累加求平均，再一次性后向传播更新权重参数。
• subdivisions 必须为为8的倍数，一般设置16；batch的值通常稍微大点好，这样可以减小训练震荡，而且可以一定程度上减少训练时NAN的出现，但也要考虑电脑的显存能不能吃得消，否则会出现：CUDA Error: out of memory。

width=416              #网络输入的宽
height=416             #网络输入的高
channels=3             #网络输入的通道数
momentum=0.9           #动量梯度下降优化方法中的动量参数
decay=0.0005           #权重衰减正则项，用于防止过拟合
angle=0                #数据增强参数，通过旋转角度来生成更多训练样本
saturation = 1.5       #数据增强参数，通过调整饱和度来生成更多训练样本
exposure = 1.5         #数据增强参数，通过调整曝光量来生成更多训练样本
hue=.1                 #数据增强参数，通过调整色调来生成更多训练样本

learning_rate=0.001    #学习率，决定着权值更新的速度
burn_in=1000           #在迭代次数小于burn_in时，其学习率的更新为一种方式，大于burn_in时，采用policy的更新方式
max_batches = 50200    #训练迭代次数达到max_batches后停止学习，跑完一个batch为一次
policy=steps           #学习率调整的策略
steps=40000,45000      #steps和scale是设置学习率的变化
scales=.1,.1           #迭代到400000次时，学习率衰减十倍，45000次时，学习率又会在前一个学习率的基础上衰减十倍

• momentum：动量梯度下降是利用梯度的指数加权平均值来更新权重，其用公式可表示为：
  $$\{\begin{array}{c}{V}_{d_w}=\beta \ast V_{d_w}+(1-\beta )d_w\\ w=w-\alpha V_{d_w}\end{array}$$
  其中$\beta$即momentum系数，$\alpha$为学习率。动量梯度下降借用了物理中的动量概念，它模拟的是物体运动时的惯性，即更新的时候在一定程度上保留之前更新的方向，同时利用当前batch的梯度微调最终的更新方向。这样一来，可以在一定程度上增加稳定性，从而学习地更快，并且还有一定摆脱局部最优的能力。总结成一句话：前后梯度方向一致时，能够加速学习
  前后梯度方向不一致时，能够抑制震荡
• decay：正则化是将权重惩罚项加到loss上，来使得权值收敛到较小的绝对值，从而降低网络过拟合。权重惩罚项是所有权重的平方乘以一个衰减常量（decay）之和。
• 数据增强参数：angle：图片角度变化，单位为度，假如angle=5，就是生成新图片的时候随机旋转-5到5度；saturation、exposure: 饱和度与曝光变化大小，1到1.5倍，以及1/1.5到1倍的变化范围；hue：色调变化范围，上例子中为-0.1到0.1的变化范围。在每次迭代中，会基于角度、饱和度、曝光、色调产生新的训练图片。
• learning_rate：刚开始训练时：学习率以 0.01 ~ 0.001 为宜。一定轮数过后：逐渐减缓。 接近训练结束：学习速率的衰减应该在100倍以上。在实际训练过程中根据loss的变化和其他指标动态调整，手动ctrl+c结束此次训练后，修改学习率，再加载刚才保存的模型继续训练即可完成手动调参，调整的依据是根据训练日志来，如果loss波动太大，说明学习率过大，适当减小，变为1/5，1/10均可，如果loss几乎不变，可能网络已经收敛或者陷入了局部极小，此时可以适当增大学习率。
• burn_in：当迭代次数小于burn_in时，学习率为：if (batch_num < net.burn_in) return net.learning_rate * pow((float)batch_num / net.burn_in, net.power) network.c中出现的代码。
• policy：迭代次数大于burn_in后的学习率调整的策略，有constant, steps, exp, poly, step, sig, RANDOM，constant等方式。

[convolutional]         #卷积层
batch_normalize=1       #是否进行BN，batch_normalize
filters=32              #卷积核个数，也就是该层的输出通道数
size=3                  #卷积核大小
stride=1                #卷积步长
pad=1                   #pad边缘补像素
activation=leaky        #网络层激活函数，Leaky ReLU

# Downsample            #下采样层
[convolutional]         #卷积核尺寸为3*3，配合padding且步长为2时，feature map变为原来的一半大小
batch_normalize=1
filters=64
size=3
stride=2
pad=1
activation=leaky
......
......
[shortcut]                   #shotcut层配置说明
from=-3                      #与前面的多少层进行融合，-3表示前面第三层
activation=linear            #层次激活函数
......
......

• activation：激活函数，常用的有：logistic，loggy，relu，elu，relie，plse，hardtan，lhtan，linear，ramp，leaky，tanh，stair
• Leaky ReLU，给所有负值赋予一个非零斜率。a为$(1,+\infty )$中的固定参数（一般为10）：
  $$f(x)=\{\begin{array}{ll}x,& \text{if x≥0}\\ \frac{x}{a},& \text{if x<0}\end{array}$$

[convolutional]           #YOLO层前面一层卷积层配置说明
size=1
stride=1
pad=1
filters=255               #YOLO层前面一层卷积层
activation=linear         #线性激活，也就是没用激活函数，原样输出

[yolo]                    #YOLO层配置说明
mask = 0,1,2              #使用anchor的索引，0，1，2表示使用下面定义的anchors中的前三个anchor
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326   
classes=80                #类别数目
num=9                     #每个grid cell总共预测num个box，和anchors的数量一致。当想要使用更多anchors时需要调大num
jitter=.3                 #数据增强手段，此处jitter为随机调整宽高比的范围
ignore_thresh = .7        #参与计算的IOU阈值大小
truth_thresh = 1          
random=1                  #为1打开随机多尺度训练，为0则关闭

• YOLO层前面一层卷积层的输出个数和分类类别个数有关，$filters=num(预测框个数)\ast (classes+5)$，5的意义是4个坐标加一个置信率，论文中的tx,ty,tw,th,c，classes为类别数，其前面的三个fileters都需要修改。
• ignore_thresh ：参与计算的IOU阈值大小，当预测的检测框与ground true的IOU大于ignore_thresh的时候，参与loss的计算，否则，检测框的不参与损失计算。当ignore_thresh过于大，接近于1的时候，那么参与检测框回归loss的个数就会比较少，同时也容易造成过拟合；而如果ignore_thresh设置的过于小，那么参与计算的会数量规模就会很大。同时也容易在进行检测框回归的时候造成欠拟合。一般选取0.5-0.7之间的一个值，之前的计算基础都是小尺度（1313）用的是0.7，（2626）用的是0.5。这次先将0.5更改为0.7。
• random： 当打开随机多尺度训练时，前面设置的网络输入尺寸width和height其实就不起作用了，width会在320到608之间随机取值，且width=height，每10轮随机改变一次。

参考文献：
https://blog.csdn.net/phinoo/article/details/83022101
https://blog.csdn.net/Jinlong_Xu/article/details/76375334
https://nanfei.xyz/2018/01/23/YOLOv2调参总结/#more

---