MMDetection——config参数理解

1 config参数理解

以faster_rcnn_r50_fpn_1x_coco.py为例，简要介绍各项参数含义

2 faster_rcnn_r50_fpn_1x_coco.py配置文件

_base_ = [
    '../_base_/models/faster_rcnn_r50_fpn.py', # 模型设置
    '../_base_/datasets/coco_detection.py', # 数据集设置
    '../_base_/schedules/schedule_1x.py', # 优化器、学习策略设置
    '../_base_/default_runtime.py' # log信息、断点加载等runtime信息设置
]

2.1 model

# model settings
model = dict(
    type='FasterRCNN', # model类型
    pretrained='torchvision://resnet50', # 预训练模型：resnet50
    backbone=dict(
        type='ResNet', # backbone类型
        depth=50, # 网络层数
        num_stages=4, # resnet的stage数量
        out_indices=(0, 1, 2, 3), # 输出的stage序号
        frozen_stages=1, # 冻结的stage数量，即该stage不更新参数，-1表示所有的stage都更新参数
        norm_cfg=dict(type='BN', requires_grad=True),
        norm_eval=True,
        style='pytorch'), # 网络风格：如果设置pytorch，则stride为2的层是conv3x3的卷积层；如果设置caffe，则stride为2的层是第一个conv1x1的卷积层
    neck=dict(
        type='FPN', # neck类型
        in_channels=[256, 512, 1024, 2048], # 输入的各个stage的通道数
        out_channels=256, # 输出的特征层的通道数
        num_outs=5), # 输出的特征层的数量
    rpn_head=dict(
        type='RPNHead', # RPN网络类型
        in_channels=256, # RPN网络的输入通道数
        feat_channels=256, # 特征层的通道数
        anchor_generator=dict(
            type='AnchorGenerator', # anchor生成器类型
            scales=[8], # 生成的anchor的baselen，baselen = sqrt(w*h)，w和h为anchor的宽和高
            ratios=[0.5, 1.0, 2.0], # anchor的宽高比
            strides=[4, 8, 16, 32, 64]), # 在每个特征层上的anchor的步长（对应于原图）
        bbox_coder=dict(
            type='DeltaXYWHBBoxCoder', # bbox编码类型
            target_means=[.0, .0, .0, .0], # 均值
            target_stds=[1.0, 1.0, 1.0, 1.0]), # 方差
        loss_cls=dict(
            type='CrossEntropyLoss', use_sigmoid=True, loss_weight=1.0), # class error类型，交叉熵损失函数
        loss_bbox=dict(type='L1Loss', loss_weight=1.0)),# bbox error类型，L1 Loss
    roi_head=dict(
        type='StandardRoIHead', # ROI网络类型
        bbox_roi_extractor=dict(
            type='SingleRoIExtractor', # ROIExtractor类型
            roi_layer=dict(type='RoIAlign', output_size=7, sampling_ratio=0), # ROI具体参数：ROI类型为ROIalign，输出尺寸为7
            out_channels=256, # 输出通道数
            featmap_strides=[4, 8, 16, 32]), # 特征图的步长
        bbox_head=dict(
            type='Shared2FCBBoxHead', # 全连接层类型
            in_channels=256, # 输入通道数
            fc_out_channels=1024, # 输出通道数
            roi_feat_size=7, # ROI特征层尺寸
            num_classes=80, # 分类器的类别数量
            bbox_coder=dict(
                type='DeltaXYWHBBoxCoder', # bbox编码类型
                target_means=[0., 0., 0., 0.], # 均值
                target_stds=[0.1, 0.1, 0.2, 0.2]), # 方差
            reg_class_agnostic=False, # 是否采用class_agnostic的方式来预测，class_agnostic表示输出bbox时只考虑其是否为前景，后续分类的时候再根据该bbox在网络中的类别得分来分类，也就是说一个框可以对应多个类别
            loss_cls=dict(
                type='CrossEntropyLoss', use_sigmoid=False, loss_weight=1.0), # class error类型，交叉熵损失函数
            loss_bbox=dict(type='L1Loss', loss_weight=1.0))), # bbox error类型，L1 Loss
    # model training and testing settings
    train_cfg=dict( # 训练过程中RPN和RCNN模块的超参数设置
        rpn=dict(
            assigner=dict(
                type='MaxIoUAssigner', # RPN网络的正负样本划分
                pos_iou_thr=0.7, # 正样本的iou阈值
                neg_iou_thr=0.3, # 负样本的iou阈值
                min_pos_iou=0.3, # 正样本的iou最小值。如果assign给ground truth的anchors中最大的IOU低于0.3，则忽略所有的anchors，否则保留最大IOU的anchor
                match_low_quality=True, 
                ignore_iof_thr=-1), # 忽略bbox的阈值，当ground truth中包含需要忽略的bbox时使用，-1表示不忽略
            sampler=dict(
                type='RandomSampler', # 正负样本提取器类型
                num=256, # 需提取的正负样本数量
                pos_fraction=0.5, # 正样本比例
                neg_pos_ub=-1, # 最大负样本比例，大于该比例的负样本忽略，-1表示不忽略
                add_gt_as_proposals=False), # 把ground truth加入proposal作为正样本
            allowed_border=-1, # 允许在bbox周围外扩一定的像素
            pos_weight=-1, # 正样本权重，-1表示不改变原始的权重
            debug=False), # debug模式
        rpn_proposal=dict( # 在训练过程中生成proposals的配置
            nms_pre=2000, # 在nms之前保留的的得分最高的proposal数量
            max_per_img=1000, # 在后处理完成之后保留的proposal数量
            nms=dict(type='nms', iou_threshold=0.7),
            min_bbox_size=0), # 允许的最小的box尺寸
        rcnn=dict(
            assigner=dict(
                type='MaxIoUAssigner', # RCNN网络正负样本划分
                pos_iou_thr=0.5, # 正样本的iou阈值
                neg_iou_thr=0.5, # 负样本的iou阈值
                min_pos_iou=0.5, # 正样本的iou最小值。如果assign给ground truth的anchors中最大的IOU低于0.3，则忽略所有的anchors，否则保留最大IOU的anchor
                match_low_quality=False, 
                ignore_iof_thr=-1), # 忽略bbox的阈值，当ground truth中包含需要忽略的bbox时使用，-1表示不忽略
            sampler=dict(
                type='RandomSampler', # 正负样本提取器类型
                num=512, # 需提取的正负样本数量
                pos_fraction=0.25, # 正样本比例
                neg_pos_ub=-1, # 最大负样本比例，大于该比例的负样本忽略，-1表示不忽略
                add_gt_as_proposals=True), # 把ground truth加入proposal作为正样本
            pos_weight=-1, # 正样本权重，-1表示不改变原始的权重
            debug=False)), # debug模式
    test_cfg=dict(
        rpn=dict(
            nms_pre=1000, # 在nms之前保留的的得分最高的proposal数量
            max_per_img=1000,  # 在后处理完成之后保留的proposal数量
            nms=dict(type='nms', iou_threshold=0.7), # nms类型，nms阈值为0.7
            min_bbox_size=0), # 最小bbox尺寸
        rcnn=dict( # roi heads的配置
            score_thr=0.05, # 用来过滤boxes的阈值
            nms=dict(type='nms', iou_threshold=0.5), # NMS在第二阶段的配置，类型名称、阈值
            max_per_img=100) # max_per_img表示每张图片最终输出的det bbox数量
        # soft-nms is also supported for rcnn testing
        # e.g., nms=dict(type='soft_nms', iou_threshold=0.5, min_score=0.05)
    ))

2.2 dataset

# dataset settings
dataset_type = 'CocoDataset' # 数据集类型
data_root = 'data/coco/' # 数据集根目录
img_norm_cfg = dict(
    mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb=True) # 输入图像初始化，减去均值mean并除以方差std，to_rgb表示将bgr转为rgb
train_pipeline = [ # 训练的pipeline
    dict(type='LoadImageFromFile'), # 用于从文件存放路径导入对应的标签 
    dict(
        type='LoadAnnotations', # 用于给图片导入对应的标签
        with_bbox=True), # with_bbox = True代表是否使用bounding box标签数据（检测任务）；with_mask代表是否使用instance mask标签数据（实例分割任务）
    dict(
        type='Resize', # Augmentation pipeline, resize图片和图片所对应的标签
        img_scale=(1333, 800), # 图片的最大尺寸
        keep_ratio=True), #是否保存宽高比例
    dict(
        type='RandomFlip', # Augmentation pipeline flip图片和图片所对应的标签
        flip_ratio=0.5), # flip的比率
    dict(type='Normalize', **img_norm_cfg), # 图像初始化参数
    dict(type='Pad', size_divisor=32), # 对图像进行resize时的最小单位，32表示所有的图像都会被resize成32的倍数
    dict(type='DefaultFormatBundle'), # Default format bundle to gather data in the pipeline
    dict(
        type='Collect',  # 决定数据中哪些key可以被传入pipeline中
         keys=['img', 'gt_bboxes', 'gt_labels']),
]
test_pipeline = [
    dict(type='LoadImageFromFile'), # First pipeline，从文件路径中导入图片
    dict(
        type='MultiScaleFlipAug', # An encapsulation that encapsulates the testing augmentations
        img_scale=(1333, 800), # 用于Resize pipeline的最大图片尺寸
        flip=False, # 是否在test过程flip images
        transforms=[
            dict(type='Resize', # Use resize augmentation
                 keep_ratio=True), # 是否保持宽高的比例
            dict(type='RandomFlip'), # 由于flip=False，这个RandomFlip将不会被使用。
            dict(type='Normalize', **img_norm_cfg),
            dict(type='Pad', size_divisor=32), # padding图片使其能够被12整除
            dict(type='ImageToTensor', keys=['img']), # 将图片转化为tensor
            dict(type='Collect', keys=['img']), # Collect pipeline，收集在test过程中必要的key
        ])
]
data = dict(
    samples_per_gpu=2, # 每个gpu计算的图像数量
    workers_per_gpu=2, # 每个gpu分配的线程数
    train=dict(
        type=dataset_type, # 数据集类型
        ann_file=data_root + 'annotations/instances_train2017.json', # 数据集annotation路径
        img_prefix=data_root + 'train2017/', # 数据集的图片路径
        pipeline=train_pipeline),
    val=dict(
        type=dataset_type,
        ann_file=data_root + 'annotations/instances_val2017.json',
        img_prefix=data_root + 'val2017/',
        pipeline=test_pipeline),
    test=dict(
        type=dataset_type,
        ann_file=data_root + 'annotations/instances_val2017.json',
        img_prefix=data_root + 'val2017/',
        pipeline=test_pipeline))
evaluation = dict(interval=1, metric='bbox') # 创建一个evaluation hook
	# interval : 隔多少个epoch进行evaluation一次
    # metric : evaluation所用的评价指标

2.3 schedule

# optimizer
optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001) # 优化参数，lr为学习率，momentum为动量因子，weight_decay为权重衰减因子
optimizer_config = dict(grad_clip=None) # 梯度均衡参数
# learning policy
lr_config = dict(
    policy='step', # 优化策略
    warmup='linear', # 初始的学习率增加的策略，linear为线性增加
    warmup_iters=500, # 在初始的500次迭代中学习率逐渐增加
    warmup_ratio=0.001, # 起始的学习率
    step=[8, 11]) # 在第8和11个epoch时降低学习率
runner = dict(type='EpochBasedRunner', max_epochs=12) # 最大epoch数

2.4 runtime

checkpoint_config = dict(interval=1) # 每1个epoch存储一次模型
# yapf:disable
log_config = dict( # logger文件的配置
    interval=50, # 每50个batch输出一次信息
    hooks=[
        dict(type='TextLoggerHook'), # 控制台输出信息的风格
        # dict(type='TensorboardLoggerHook')
    ])
# yapf:enable
custom_hooks = [dict(type='NumClassCheckHook')]

dist_params = dict(backend='nccl') # 分布式参数
log_level = 'INFO' # 输出信息的完整度级别
load_from = None # 加载模型的路径，None表示从预训练模型加载
resume_from = None # 恢复训练模型的路径
# work_dir = './work_dirs/faster_rcnn_r50_fpn_1x' # log文件和模型文件存储路径 （如没有填写，会依据Model名称自动生成）
workflow = [('train', 1)] # 当前工作区名称

3 Refrence

1. https://zhuanlan.zhihu.com/p/56435717

2. https://zhuanlan.zhihu.com/p/333859655