【mmDetection】细致的配置文件解读，从数据，模型，训练，测试...各方面实战目标检测任务。强大的工程能力，统一的编码风格，有效的降低学习成本。mmDet,yes
-
MMDetection 是一个目标检测工具箱，包含了丰富的目标检测、实例分割、全景分割算法以及相关的组件和模块，MMDetection 由 7 个主要部分组成，apis、structures、datasets、models、engine、evaluation 和 visualization。
-
-
apis 为模型推理提供高级 API。
-
structures 提供 bbox、mask 和 DetDataSample 等数据结构。
-
datasets 支持用于目标检测、实例分割和全景分割的各种数据集。
-
transforms 包含各种数据增强变换。
-
samplers 定义了不同的数据加载器采样策略。
-
-
models 是检测器最重要的部分，包含检测器的不同组件。
-
detectors 定义所有检测模型类。
-
data_preprocessors 用于预处理模型的输入数据。
-
backbones 包含各种骨干网络。
-
necks 包含各种模型颈部组件。
-
dense_heads 包含执行密集预测的各种检测头。
-
roi_heads 包含从 RoI 预测的各种检测头。
-
seg_heads 包含各种分割头。
-
losses 包含各种损失函数。
-
task_modules 为检测任务提供模块，例如 assigners、samplers、box coders 和 prior generators。
-
layers 提供了一些基本的神经网络层。
-
-
engine 是运行时组件的一部分。
-
runner 为 MMEngine 的执行器提供扩展。
-
schedulers 提供用于调整优化超参数的调度程序。
-
optimizers 提供优化器和优化器封装。
-
hooks 提供执行器的各种钩子。
-
-
evaluation 为评估模型性能提供不同的指标。
-
visualization 用于可视化检测结果。
-
-
-
MMDetection 在 Model Zoo 中提供了数百个预训练的检测模型，并支持多种标准数据集格式，包括 Pascal VOC、COCO、CityScapes、LVIS 等。MMDetection 采用模块化设计，所有功能的模块都可以通过配置文件进行配置。 以 Mask R-CNN 为例，将根据不同的功能模块介绍配置文件中的各个字段。在 mmdetection 的配置中，使用
model字段来配置检测算法的组件。 除了backbone、neck等神经网络组件外，还需要data_preprocessor、train_cfg和test_cfg。data_preprocessor负责对 dataloader 输出的每一批数据进行预处理。 模型配置中的train_cfg和test_cfg用于设置训练和测试组件的超参数。-
model = dict( type='MaskRCNN', # 检测器名 data_preprocessor=dict( # 数据预处理器的配置，通常包括图像归一化和 padding type='DetDataPreprocessor', # 数据预处理器的类型，参考 https://mmdetection.readthedocs.io/en/latest/api.html#mmdet.models.data_preprocessors.DetDataPreprocessor mean=[123.675, 116.28, 103.53], # 用于预训练骨干网络的图像归一化通道均值，按 R、G、B 排序 std=[58.395, 57.12, 57.375], # 用于预训练骨干网络的图像归一化通道标准差，按 R、G、B 排序 bgr_to_rgb=True, # 是否将图片通道从 BGR 转为 RGB pad_mask=True, # 是否填充实例分割掩码 pad_size_divisor=32), # padding 后的图像的大小应该可以被 ``pad_size_divisor`` 整除 backbone=dict( # 主干网络的配置文件 type='ResNet', # 主干网络的类别，可用选项请参考 https://mmdetection.readthedocs.io/en/latest/api.html#mmdet.models.backbones.ResNet depth=50, # 主干网络的深度，对于 ResNet 和 ResNext 通常设置为 50 或 101 num_stages=4, # 主干网络状态(stages)的数目，这些状态产生的特征图作为后续的 head 的输入 out_indices=(0, 1, 2, 3), # 每个状态产生的特征图输出的索引 frozen_stages=1, # 第一个状态的权重被冻结 norm_cfg=dict( # 归一化层(norm layer)的配置项 type='BN', # 归一化层的类别，通常是 BN 或 GN requires_grad=True), # 是否训练归一化里的 gamma 和 beta norm_eval=True, # 是否冻结 BN 里的统计项 style='pytorch', # 主干网络的风格，'pytorch' 意思是步长为2的层为 3x3 卷积， 'caffe' 意思是步长为2的层为 1x1 卷积 init_cfg=dict(type='Pretrained', checkpoint='torchvision://resnet50')), # 加载通过 ImageNet 预训练的模型 neck=dict( type='FPN', # 检测器的 neck 是 FPN，同样支持 'NASFPN', 'PAFPN' 等，更多细节可以参考 https://mmdetection.readthedocs.io/en/latest/api.html#mmdet.models.necks.FPN in_channels=[256, 512, 1024, 2048], # 输入通道数，这与主干网络的输出通道一致 out_channels=256, # 金字塔特征图每一层的输出通道 num_outs=5), # 输出的范围(scales) rpn_head=dict( type='RPNHead', # rpn_head 的类型是 'RPNHead', 也支持 'GARPNHead' 等，更多细节可以参考 https://mmdetection.readthedocs.io/en/latest/api.html#mmdet.models.dense_heads.RPNHead in_channels=256, # 每个输入特征图的输入通道，这与 neck 的输出通道一致 feat_channels=256, # head 卷积层的特征通道 anchor_generator=dict( # 锚点(Anchor)生成器的配置 type='AnchorGenerator', # 大多数方法使用 AnchorGenerator 作为锚点生成器, SSD 检测器使用 `SSDAnchorGenerator`。更多细节请参考 https://github.com/open-mmlab/mmdetection/blob/main/mmdet/models/task_modules/prior_generators/anchor_generator.py#L18 scales=[8], # 锚点的基本比例，特征图某一位置的锚点面积为 scale * base_sizes ratios=[0.5, 1.0, 2.0], # 高度和宽度之间的比率 strides=[4, 8, 16, 32, 64]), # 锚生成器的步幅。这与 FPN 特征步幅一致。 如果未设置 base_sizes，则当前步幅值将被视为 base_sizes bbox_coder=dict( # 在训练和测试期间对框进行编码和解码 type='DeltaXYWHBBoxCoder', # 框编码器的类别，'DeltaXYWHBBoxCoder' 是最常用的，更多细节请参考 https://github.com/open-mmlab/mmdetection/blob/main/mmdet/models/task_modules/coders/delta_xywh_bbox_coder.py#L13 target_means=[0.0, 0.0, 0.0, 0.0], # 用于编码和解码框的目标均值 target_stds=[1.0, 1.0, 1.0, 1.0]), # 用于编码和解码框的标准差 loss_cls=dict( # 分类分支的损失函数配置 type='CrossEntropyLoss', # 分类分支的损失类型，也支持 FocalLoss 等，更多细节请参考 https://github.com/open-mmlab/mmdetection/blob/main/mmdet/models/losses/cross_entropy_loss.py#L201 use_sigmoid=True, # RPN 通常进行二分类，所以通常使用 sigmoid 函数 los_weight=1.0), # 分类分支的损失权重 loss_bbox=dict( # 回归分支的损失函数配置 type='L1Loss', # 损失类型，还支持许多 IoU Losses 和 Smooth L1-loss 等，更多细节请参考 https://github.com/open-mmlab/mmdetection/blob/main/mmdet/models/losses/smooth_l1_loss.py#L56 loss_weight=1.0)), # 回归分支的损失权重 roi_head=dict( # RoIHead 封装了两步(two-stage)/级联(cascade)检测器的第二步 type='StandardRoIHead', # RoI head 的类型，更多细节请参考 https://github.com/open-mmlab/mmdetection/blob/main/mmdet/models/roi_heads/standard_roi_head.py#L17 bbox_roi_extractor=dict( # 用于 bbox 回归的 RoI 特征提取器 type='SingleRoIExtractor', # RoI 特征提取器的类型，大多数方法使用 SingleRoIExtractor，更多细节请参考 https://github.com/open-mmlab/mmdetection/blob/main/mmdet/models/roi_heads/roi_extractors/single_level_roi_extractor.py#L13 roi_layer=dict( # RoI 层的配置 type='RoIAlign', # RoI 层的类别, 也支持 DeformRoIPoolingPack 和 ModulatedDeformRoIPoolingPack，更多细节请参考 https://mmcv.readthedocs.io/en/latest/api.html#mmcv.ops.RoIAlign output_size=7, # 特征图的输出大小 sampling_ratio=0), # 提取 RoI 特征时的采样率。0 表示自适应比率 out_channels=256, # 提取特征的输出通道 featmap_strides=[4, 8, 16, 32]), # 多尺度特征图的步幅，应该与主干的架构保持一致 bbox_head=dict( # RoIHead 中 box head 的配置 type='Shared2FCBBoxHead', # bbox head 的类别，更多细节请参考 https://github.com/open-mmlab/mmdetection/blob/main/mmdet/models/roi_heads/bbox_heads/convfc_bbox_head.py#L220 in_channels=256, # bbox head 的输入通道。 这与 roi_extractor 中的 out_channels 一致 fc_out_channels=1024, # FC 层的输出特征通道 roi_feat_size=7, # 候选区域(Region of Interest)特征的大小 num_classes=80, # 分类的类别数量 bbox_coder=dict( # 第二阶段使用的框编码器 type='DeltaXYWHBBoxCoder', # 框编码器的类别，大多数情况使用 'DeltaXYWHBBoxCoder' target_means=[0.0, 0.0, 0.0, 0.0], # 用于编码和解码框的均值 target_stds=[0.1, 0.1, 0.2, 0.2]), # 编码和解码的标准差。因为框更准确，所以值更小，常规设置时 [0.1, 0.1, 0.2, 0.2]。 reg_class_agnostic=False, # 回归是否与类别无关 loss_cls=dict( # 分类分支的损失函数配 type='CrossEntropyLoss', # 分类分支的损失类型，也支持 FocalLoss 等 use_sigmoid=False, # 是否使用 sigmoid loss_weight=1.0), # 分类分支的损失权重 loss_bbox=dict( # 回归分支的损失函数配置 type='L1Loss', # 损失类型，还支持许多 IoU Losses 和 Smooth L1-loss 等 loss_weight=1.0)), # 回归分支的损失权重 mask_roi_extractor=dict( # 用于 mask 生成的 RoI 特征提取器 type='SingleRoIExtractor', # RoI 特征提取器的类型，大多数方法使用 SingleRoIExtractor roi_layer=dict( # 提取实例分割特征的 RoI 层配置 type='RoIAlign', # RoI 层的类型，也支持 DeformRoIPoolingPack 和 ModulatedDeformRoIPoolingPack output_size=14, # 特征图的输出大小 sampling_ratio=0), # 提取 RoI 特征时的采样率 out_channels=256, # 提取特征的输出通道 featmap_strides=[4, 8, 16, 32]), # 多尺度特征图的步幅 mask_head=dict( # mask 预测 head 模型 type='FCNMaskHead', # mask head 的类型，更多细节请参考 https://mmdetection.readthedocs.io/en/latest/api.html#mmdet.models.roi_heads.FCNMaskHead num_convs=4, # mask head 中的卷积层数 in_channels=256, # 输入通道，应与 mask roi extractor 的输出通道一致 conv_out_channels=256, # 卷积层的输出通道 num_classes=80, # 要分割的类别数 loss_mask=dict( # mask 分支的损失函数配置 type='CrossEntropyLoss', # 用于分割的损失类型 use_mask=True, # 是否只在正确的类中训练 mask loss_weight=1.0))), # mask 分支的损失权重 train_cfg = dict( # rpn 和 rcnn 训练超参数的配置 rpn=dict( # rpn 的训练配置 assigner=dict( # 分配器(assigner)的配置 type='MaxIoUAssigner', # 分配器的类型，MaxIoUAssigner 用于许多常见的检测器，更多细节请参考 https://github.com/open-mmlab/mmdetection/blob/main/mmdet/models/task_modules/assigners/max_iou_assigner.py#L14 pos_iou_thr=0.7, # IoU >= 0.7(阈值) 被视为正样本 neg_iou_thr=0.3, # IoU < 0.3(阈值) 被视为负样本 min_pos_iou=0.3, # 将框作为正样本的最小 IoU 阈值 match_low_quality=True, # 是否匹配低质量的框(更多细节见 API 文档) ignore_iof_thr=-1), # 忽略 bbox 的 IoF 阈值 sampler=dict( # 正/负采样器(sampler)的配置 type='RandomSampler', # 采样器类型，还支持 PseudoSampler 和其他采样器，更多细节请参考 https://github.com/open-mmlab/mmdetection/blob/main/mmdet/models/task_modules/samplers/random_sampler.py#L14 num=256, # 样本数量。 pos_fraction=0.5, # 正样本占总样本的比例 neg_pos_ub=-1, # 基于正样本数量的负样本上限 add_gt_as_proposals=False), # 采样后是否添加 GT 作为 proposal allowed_border=-1, # 填充有效锚点后允许的边框 pos_weight=-1, # 训练期间正样本的权重 debug=False), # 是否设置调试(debug)模式 rpn_proposal=dict( # 在训练期间生成 proposals 的配置 nms_across_levels=False, # 是否对跨层的 box 做 NMS。仅适用于 `GARPNHead` ，naive rpn 不支持 nms cross levels nms_pre=2000, # NMS 前的 box 数 nms_post=1000, # NMS 要保留的 box 的数量，只在 GARPNHHead 中起作用 max_per_img=1000, # NMS 后要保留的 box 数量 nms=dict( # NMS 的配置 type='nms', # NMS 的类别 iou_threshold=0.7 # NMS 的阈值 ), min_bbox_size=0), # 允许的最小 box 尺寸 rcnn=dict( # roi head 的配置。 assigner=dict( # 第二阶段分配器的配置，这与 rpn 中的不同 type='MaxIoUAssigner', # 分配器的类型，MaxIoUAssigner 目前用于所有 roi_heads。更多细节请参考 https://github.com/open-mmlab/mmdetection/blob/main/mmdet/models/task_modules/assigners/max_iou_assigner.py#L14 pos_iou_thr=0.5, # IoU >= 0.5(阈值)被认为是正样本 neg_iou_thr=0.5, # IoU < 0.5(阈值)被认为是负样本 min_pos_iou=0.5, # 将 box 作为正样本的最小 IoU 阈值 match_low_quality=False, # 是否匹配低质量下的 box(有关更多详细信息，请参阅 API 文档) ignore_iof_thr=-1), # 忽略 bbox 的 IoF 阈值 sampler=dict( type='RandomSampler', # 采样器的类型，还支持 PseudoSampler 和其他采样器，更多细节请参考 https://github.com/open-mmlab/mmdetection/blob/main/mmdet/models/task_modules/samplers/random_sampler.py#L14 num=512, # 样本数量 pos_fraction=0.25, # 正样本占总样本的比例 neg_pos_ub=-1, # 基于正样本数量的负样本上限 add_gt_as_proposals=True ), # 采样后是否添加 GT 作为 proposal mask_size=28, # mask 的大小 pos_weight=-1, # 训练期间正样本的权重 debug=False)), # 是否设置调试模式 test_cfg = dict( # 用于测试 rpn 和 rcnn 超参数的配置 rpn=dict( # 测试阶段生成 proposals 的配置 nms_across_levels=False, # 是否对跨层的 box 做 NMS。仅适用于 `GARPNHead`，naive rpn 不支持做 NMS cross levels nms_pre=1000, # NMS 前的 box 数 nms_post=1000, # NMS 要保留的 box 的数量，只在 `GARPNHHead` 中起作用 max_per_img=1000, # NMS 后要保留的 box 数量 nms=dict( # NMS 的配置 type='nms', # NMS 的类型 iou_threshold=0.7 # NMS 阈值 ), min_bbox_size=0), # box 允许的最小尺寸 rcnn=dict( # roi heads 的配置 score_thr=0.05, # bbox 的分数阈值 nms=dict( # 第二步的 NMS 配置 type='nms', # NMS 的类型 iou_thr=0.5), # NMS 的阈值 max_per_img=100, # 每张图像的最大检测次数 mask_thr_binary=0.5))) # mask 预处的阈值
-
-
在使用执行器 进行训练、测试、验证时，需要配置 Dataloader。构建数据 dataloader 需要设置数据集（dataset）和数据处理流程（data pipeline）。 由于这部分的配置较为复杂，使用中间变量来简化 dataloader 配置的编写。
-
dataset_type = 'CocoDataset' # 数据集类型，这将被用来定义数据集。 data_root = 'data/coco/' # 数据的根路径。 train_pipeline = [ # 训练数据处理流程 dict(type='LoadImageFromFile'), # 第 1 个流程，从文件路径里加载图像。 dict( type='LoadAnnotations', # 第 2 个流程，对于当前图像，加载它的注释信息。 with_bbox=True, # 是否使用标注框(bounding box)， 目标检测需要设置为 True。 with_mask=True, # 是否使用 instance mask，实例分割需要设置为 True。 poly2mask=False), # 是否将 polygon mask 转化为 instance mask, 设置为 False 以加速和节省内存。 dict( type='Resize', # 变化图像和其标注大小的流程。 scale=(1333, 800), # 图像的最大尺寸 keep_ratio=True # 是否保持图像的长宽比。 ), dict( type='RandomFlip', # 翻转图像和其标注的数据增广流程。 prob=0.5), # 翻转图像的概率。 dict(type='PackDetInputs') # 将数据转换为检测器输入格式的流程 ] test_pipeline = [ # 测试数据处理流程 dict(type='LoadImageFromFile'), # 第 1 个流程，从文件路径里加载图像。 dict(type='Resize', scale=(1333, 800), keep_ratio=True), # 变化图像大小的流程。 dict( type='PackDetInputs', # 将数据转换为检测器输入格式的流程 meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape', 'scale_factor')) ] train_dataloader = dict( # 训练 dataloader 配置 batch_size=2, # 单个 GPU 的 batch size num_workers=2, # 单个 GPU 分配的数据加载线程数 persistent_workers=True, # 如果设置为 True，dataloader 在迭代完一轮之后不会关闭数据读取的子进程，可以加速训练 sampler=dict( # 训练数据的采样器 type='DefaultSampler', # 默认的采样器，同时支持分布式和非分布式训练。请参考 https://mmengine.readthedocs.io/zh_CN/latest/api/generated/mmengine.dataset.DefaultSampler.html#mmengine.dataset.DefaultSampler shuffle=True), # 随机打乱每个轮次训练数据的顺序 batch_sampler=dict(type='AspectRatioBatchSampler'), # 批数据采样器，用于确保每一批次内的数据拥有相似的长宽比，可用于节省显存 dataset=dict( # 训练数据集的配置 type=dataset_type, data_root=data_root, ann_file='annotations/instances_train2017.json', # 标注文件路径 data_prefix=dict(img='train2017/'), # 图片路径前缀 filter_cfg=dict(filter_empty_gt=True, min_size=32), # 图片和标注的过滤配置 pipeline=train_pipeline)) # 这是由之前创建的 train_pipeline 定义的数据处理流程。 val_dataloader = dict( # 验证 dataloader 配置 batch_size=1, # 单个 GPU 的 Batch size。如果 batch-szie > 1，组成 batch 时的额外填充会影响模型推理精度 num_workers=2, # 单个 GPU 分配的数据加载线程数 persistent_workers=True, # 如果设置为 True，dataloader 在迭代完一轮之后不会关闭数据读取的子进程，可以加速训练 drop_last=False, # 是否丢弃最后未能组成一个批次的数据 sampler=dict( type='DefaultSampler', shuffle=False), # 验证和测试时不打乱数据顺序 dataset=dict( type=dataset_type, data_root=data_root, ann_file='annotations/instances_val2017.json', data_prefix=dict(img='val2017/'), test_mode=True, # 开启测试模式，避免数据集过滤图片和标注 pipeline=test_pipeline)) test_dataloader = val_dataloader # 测试 dataloader 配置
-
-
评测器 用于计算训练模型在验证和测试数据集上的指标。评测器的配置由一个或一组评价指标（Metric）配置组成：
-
val_evaluator = dict( # 验证过程使用的评测器 type='CocoMetric', # 用于评估检测和实例分割的 AR、AP 和 mAP 的 coco 评价指标 ann_file=data_root + 'annotations/instances_val2017.json', # 标注文件路径 metric=['bbox', 'segm'], # 需要计算的评价指标，`bbox` 用于检测，`segm` 用于实例分割 format_only=False) test_evaluator = val_evaluator # 测试过程使用的评测器
-
-
由于测试数据集没有标注文件，因此 MMDetection 中的 test_dataloader 和 test_evaluator 配置通常等于val。 如果要保存在测试数据集上的检测结果，则可以像这样编写配置：
-
# 在测试集上推理， # 并将检测结果转换格式以用于提交结果 test_dataloader = dict( batch_size=1, num_workers=2, persistent_workers=True, drop_last=False, sampler=dict(type='DefaultSampler', shuffle=False), dataset=dict( type=dataset_type, data_root=data_root, ann_file=data_root + 'annotations/image_info_test-dev2017.json', data_prefix=dict(img='test2017/'), test_mode=True, pipeline=test_pipeline)) test_evaluator = dict( type='CocoMetric', ann_file=data_root + 'annotations/image_info_test-dev2017.json', metric=['bbox', 'segm'], format_only=True, # 只将模型输出转换为 coco 的 JSON 格式并保存 outfile_prefix='./work_dirs/coco_detection/test') # 要保存的 JSON 文件的前缀
-
-
MMEngine 的 Runner 使用 Loop 来控制训练，验证和测试过程。 用户可以使用这些字段设置最大训练轮次和验证间隔。
-
train_cfg = dict( type='EpochBasedTrainLoop', # 训练循环的类型，请参考 https://github.com/open-mmlab/mmengine/blob/main/mmengine/runner/loops.py max_epochs=12, # 最大训练轮次 val_interval=1) # 验证间隔。每个 epoch 验证一次 val_cfg = dict(type='ValLoop') # 验证循环的类型 test_cfg = dict(type='TestLoop') # 测试循环的类型
-
-
optim_wrapper是配置优化相关设置的字段。优化器封装（OptimWrapper）不仅提供了优化器的功能，还支持梯度裁剪、混合精度训练等功能。-
optim_wrapper = dict( # 优化器封装的配置 type='OptimWrapper', # 优化器封装的类型。可以切换至 AmpOptimWrapper 来启用混合精度训练 optimizer=dict( # 优化器配置。支持 PyTorch 的各种优化器。请参考 https://pytorch.org/docs/stable/optim.html#algorithms type='SGD', # 随机梯度下降优化器 lr=0.02, # 基础学习率 momentum=0.9, # 带动量的随机梯度下降 weight_decay=0.0001), # 权重衰减 clip_grad=None, # 梯度裁剪的配置，设置为 None 关闭梯度裁剪。使用方法请见 https://mmengine.readthedocs.io/en/latest/tutorials/optimizer.html )
-
-
param_scheduler字段用于配置参数调度器（Parameter Scheduler）来调整优化器的超参数（例如学习率和动量）。 用户可以组合多个调度器来创建所需的参数调整策略。-
param_scheduler = [ dict( type='LinearLR', # 使用线性学习率预热 start_factor=0.001, # 学习率预热的系数 by_epoch=False, # 按 iteration 更新预热学习率 begin=0, # 从第一个 iteration 开始 end=500), # 到第 500 个 iteration 结束 dict( type='MultiStepLR', # 在训练过程中使用 multi step 学习率策略 by_epoch=True, # 按 epoch 更新学习率 begin=0, # 从第一个 epoch 开始 end=12, # 到第 12 个 epoch 结束 milestones=[8, 11], # 在哪几个 epoch 进行学习率衰减 gamma=0.1) # 学习率衰减系数 ]
-
-
钩子配置
-
用户可以在训练、验证和测试循环上添加钩子，以便在运行期间插入一些操作。配置中有两种不同的钩子字段，一种是
default_hooks，另一种是custom_hooks。 -
default_hooks是一个字典，用于配置运行时必须使用的钩子。这些钩子具有默认优先级，如果未设置，runner 将使用默认值。如果要禁用默认钩子，用户可以将其配置设置为None。更多内容请看 钩子教程 。 -
default_hooks = dict( timer=dict(type='IterTimerHook'), logger=dict(type='LoggerHook', interval=50), param_scheduler=dict(type='ParamSchedulerHook'), checkpoint=dict(type='CheckpointHook', interval=1), sampler_seed=dict(type='DistSamplerSeedHook'), visualization=dict(type='DetVisualizationHook'))
-
-
运行相关配置
-
default_scope = 'mmdet' # 默认的注册器域名，默认从此注册器域中寻找模块。请参考 https://mmengine.readthedocs.io/zh_CN/latest/advanced_tutorials/registry.html env_cfg = dict( cudnn_benchmark=False, # 是否启用 cudnn benchmark mp_cfg=dict( # 多进程设置 mp_start_method='fork', # 使用 fork 来启动多进程。'fork' 通常比 'spawn' 更快，但可能存在隐患。请参考 https://github.com/pytorch/pytorch/issues/1355 opencv_num_threads=0), # 关闭 opencv 的多线程以避免系统超负荷 dist_cfg=dict(backend='nccl'), # 分布式相关设置 ) vis_backends = [dict(type='LocalVisBackend')] # 可视化后端，请参考 https://mmengine.readthedocs.io/zh_CN/latest/advanced_tutorials/visualization.html visualizer = dict( type='DetLocalVisualizer', vis_backends=vis_backends, name='visualizer') log_processor = dict( type='LogProcessor', # 日志处理器用于处理运行时日志 window_size=50, # 日志数值的平滑窗口 by_epoch=True) # 是否使用 epoch 格式的日志。需要与训练循环的类型保存一致。 log_level = 'INFO' # 日志等级 load_from = None # 从给定路径加载模型检查点作为预训练模型。这不会恢复训练。 resume = False # 是否从 `load_from` 中定义的检查点恢复。 如果 `load_from` 为 None，它将恢复 `work_dir` 中的最新检查点。
-
-
Iter-based 配置
-
MMEngine 的 Runner 除了基于轮次的训练循环（epoch）外，还提供了基于迭代（iteration）的训练循环。 要使用基于迭代的训练，用户应该修改
train_cfg、param_scheduler、train_dataloader、default_hooks和log_processor。 以下是将基于 epoch 的 RetinaNet 配置更改为基于 iteration 的示例：configs/retinanet/retinanet_r50_fpn_90k_coco.py-
# iter-based 训练配置 train_cfg = dict( _delete_=True, # 忽略继承的配置文件中的值（可选） type='IterBasedTrainLoop', # iter-based 训练循环 max_iters=90000, # 最大迭代次数 val_interval=10000) # 每隔多少次进行一次验证 # 将参数调度器修改为 iter-based param_scheduler = [ dict( type='LinearLR', start_factor=0.001, by_epoch=False, begin=0, end=500), dict( type='MultiStepLR', begin=0, end=90000, by_epoch=False, milestones=[60000, 80000], gamma=0.1) ] # 切换至 InfiniteSampler 来避免 dataloader 重启 train_dataloader = dict(sampler=dict(type='InfiniteSampler')) # 将模型检查点保存间隔设置为按 iter 保存 default_hooks = dict(checkpoint=dict(by_epoch=False, interval=10000)) # 将日志格式修改为 iter-based log_processor = dict(by_epoch=False)
-
-
-
配置文件名称风格
-
{algorithm name}_{model component names [component1]_[component2]_[...]}_{training settings}_{training dataset information}_{testing dataset information}.py -
文件名分为五个部分。 每个部分用
_连接，每个部分内的单词应该用-连接。 -
-
{algorithm name}: 算法的名称。 它可以是检测器名称，例如faster-rcnn、mask-rcnn等。也可以是半监督或知识蒸馏算法，例如soft-teacher、lad等等 -
{component names}: 算法中使用的组件名称，如 backbone、neck 等。例如r50-caffe_fpn_gn-head表示在算法中使用 caffe 版本的 ResNet50、FPN 和 使用了 Group Norm 的检测头。 -
{training settings}: 训练设置的信息，例如 batch 大小、数据增强、损失、参数调度方式和训练最大轮次/迭代。 例如：4xb4-mixup-giou-coslr-100e表示使用 8 个 gpu 每个 gpu 4 张图、mixup 数据增强、GIoU loss、余弦退火学习率，并训练 100 个 epoch。 缩写介绍:-
{gpu x batch_per_gpu}: GPU 数和每个 GPU 的样本数。bN表示每个 GPU 上的 batch 大小为 N。例如4x4b是 4 个 GPU 每个 GPU 4 张图的缩写。如果没有注明，默认为 8 卡每卡 2 张图。 -
{schedule}: 训练方案，选项是1x、2x、20e等。1x和2x分别代表 12 epoch 和 24 epoch，20e在级联模型中使用，表示 20 epoch。对于1x/2x，初始学习率在第 8/16 和第 11/22 epoch 衰减 10 倍；对于20e，初始学习率在第 16 和第 19 epoch 衰减 10 倍。
-
-
{training dataset information}: 训练数据集，例如coco,coco-panoptic,cityscapes,voc-0712,wider-face。 -
{testing dataset information}(可选): 测试数据集，用于训练和测试在不同数据集上的模型配置。 如果没有注明，则表示训练和测试的数据集类型相同。
-
-
-
使用已有模型在标准数据集上进行推理，在 MMDetection 中，一个模型被定义为一个配置文件 和对应被存储在 checkpoint 文件内的模型参数的集合。
-
MMDetection 为在图片上推理提供了 Python 的高层编程接口。下面是建立模型和在图像或视频上进行推理的例子。
-
import cv2 import mmcv from mmcv.transforms import Compose from mmengine.utils import track_iter_progress from mmdet.registry import VISUALIZERS from mmdet.apis import init_detector, inference_detector # 指定模型的配置文件和 checkpoint 文件路径 config_file = 'configs/rtmdet/rtmdet_l_8xb32-300e_coco.py' checkpoint_file = 'checkpoints/rtmdet_l_8xb32-300e_coco_20220719_112030-5a0be7c4.pth' # 根据配置文件和 checkpoint 文件构建模型 model = init_detector(config_file, checkpoint_file, device='cuda:0') # 初始化可视化工具 visualizer = VISUALIZERS.build(model.cfg.visualizer) # 从 checkpoint 中加载 Dataset_meta，并将其传递给模型的 init_detector visualizer.dataset_meta = model.dataset_meta # 测试单张图片并展示结果 img = 'test.jpg' # 或者 img = mmcv.imread(img)，这样图片仅会被读一次 result = inference_detector(model, img) # 显示结果 img = mmcv.imread(img) img = mmcv.imconvert(img, 'bgr', 'rgb') visualizer.add_datasample( 'result', img, data_sample=result, draw_gt=False, show=True) # 测试视频并展示结果 # 构建测试 pipeline model.cfg.test_dataloader.dataset.pipeline[0].type = 'LoadImageFromNDArray' test_pipeline = Compose(model.cfg.test_dataloader.dataset.pipeline) # 可视化工具在第33行和35行已经初完成了初始化，如果直接在一个 jupyter nodebook 中运行这个 demo， # 这里则不需要再创建一个可视化工具了。 # 初始化可视化工具 visualizer = VISUALIZERS.build(model.cfg.visualizer) # 从 checkpoint 中加载 Dataset_meta，并将其传递给模型的 init_detector visualizer.dataset_meta = model.dataset_meta # 显示间隔 (ms), 0 表示暂停 wait_time = 1 video = mmcv.VideoReader('video.mp4') cv2.namedWindow('video', 0) for frame in track_iter_progress(video_reader): result = inference_detector(model, frame, test_pipeline=test_pipeline) visualizer.add_datasample( name='video', image=frame, data_sample=result, draw_gt=False, show=False) frame = visualizer.get_image() mmcv.imshow(frame, 'video', wait_time) cv2.destroyAllWindows() -
Jupyter notebook 上的演示样例在 demo/inference_demo.ipynb 。
inference_detector目前仅支持单张图片的推理。
-
-
这是在单张图片上进行推理的脚本。
-
python demo/image_demo.py \ ${IMAGE_FILE} \ ${CONFIG_FILE} \ [--weights ${WEIGHTS}] \ [--device ${GPU_ID}] \ [--pred-score-thr ${SCORE_THR}] ## 样例 python demo/image_demo.py demo/demo.jpg \ configs/rtmdet/rtmdet_l_8xb32-300e_coco.py \ --weights checkpoints/rtmdet_l_8xb32-300e_coco_20220719_112030-5a0be7c4.pth \ --device cpu
-
-
这是使用摄像头实时图片的推理脚本。
-
python demo/webcam_demo.py \ ${CONFIG_FILE} \ ${CHECKPOINT_FILE} \ [--device ${GPU_ID}] \ [--camera-id ${CAMERA-ID}] \ [--score-thr ${SCORE_THR}] ## 样例 python demo/webcam_demo.py \ configs/rtmdet/rtmdet_l_8xb32-300e_coco.py \ checkpoints/rtmdet_l_8xb32-300e_coco_20220719_112030-5a0be7c4.pth
-
-
这是在视频样例上进行推理的脚本。
-
python demo/video_demo.py \ ${VIDEO_FILE} \ ${CONFIG_FILE} \ ${CHECKPOINT_FILE} \ [--device ${GPU_ID}] \ [--score-thr ${SCORE_THR}] \ [--out ${OUT_FILE}] \ [--show] \ [--wait-time ${WAIT_TIME}] ## 样例 python demo/video_demo.py demo/demo.mp4 \ configs/rtmdet/rtmdet_l_8xb32-300e_coco.py \ checkpoints/rtmdet_l_8xb32-300e_coco_20220719_112030-5a0be7c4.pth \ --out result.mp4
-
-
一些公共数据集，比如 Pascal VOC 及其镜像数据集，或者 COCO 等数据集都可以从官方网站或者镜像网站获取。注意：在检测任务中，Pascal VOC 2012 是 Pascal VOC 2007 的无交集扩展，通常将两者一起使用。 建议将数据集下载，然后解压到项目外部的某个文件夹内，然后通过符号链接的方式，将数据集根目录链接到
$MMDETECTION/data文件夹下， 如果你的文件夹结构和下方不同的话，你需要在配置文件中改变对应的路径。 -
官方提供了测试脚本，能够测试一个现有模型在所有数据集（COCO，Pascal VOC，Cityscapes 等）上的性能。选择合适的脚本来执行测试过程。
-
# 单 GPU 测试 python tools/test.py \ ${CONFIG_FILE} \ ${CHECKPOINT_FILE} \ [--out ${RESULT_FILE}] \ [--show] # CPU 测试：禁用 GPU 并运行单 GPU 测试脚本 export CUDA_VISIBLE_DEVICES=-1 python tools/test.py \ ${CONFIG_FILE} \ ${CHECKPOINT_FILE} \ [--out ${RESULT_FILE}] \ [--show] # 单节点多 GPU 测试 bash tools/dist_test.sh \ ${CONFIG_FILE} \ ${CHECKPOINT_FILE} \ ${GPU_NUM} \ [--out ${RESULT_FILE}] -
-
RESULT_FILE: 结果文件名称，需以 .pkl 形式存储。如果没有声明，则不将结果存储到文件。 -
--show: 如果开启，检测结果将被绘制在图像上，以一个新窗口的形式展示。它只适用于单 GPU 的测试，是用于调试和可视化的。请确保使用此功能时，你的 GUI 可以在环境中打开。否则，你可能会遇到这么一个错误cannot connect to X server。 -
--show-dir: 如果指明，检测结果将会被绘制在图像上并保存到指定目录。它只适用于单 GPU 的测试，是用于调试和可视化的。即使你的环境中没有 GUI，这个选项也可使用。 -
--cfg-options: 如果指明，这里的键值对将会被合并到配置文件中。
-
-
-
测试 RTMDet 并可视化其结果。按任意键继续下张图片的测试。
-
python tools/test.py \ configs/rtmdet/rtmdet_l_8xb32-300e_coco.py \ checkpoints/rtmdet_l_8xb32-300e_coco_20220719_112030-5a0be7c4.pth \ --show
-
-
测试 RTMDet，并为了之后的可视化保存绘制的图像。
-
python tools/test.py \ configs/rtmdet/rtmdet_l_8xb32-300e_coco.py \ checkpoints/rtmdet_l_8xb32-300e_coco_20220719_112030-5a0be7c4.pth \ --show-dir rtmdet_l_8xb32-300e_coco_results
-
-
MMDetection 支持在不使用 ground-truth 标注的情况下对模型进行测试，这需要用到
CocoDataset。如果你的数据集格式不是 COCO 格式的，请将其转化成 COCO 格式。如果你的数据集格式是 VOC 或者 Cityscapes，你可以使用 tools/dataset_converters 内的脚本直接将其转化成 COCO 格式。如果是其他格式，可以使用 images2coco 脚本 进行转换。-
python tools/dataset_converters/images2coco.py \ ${IMG_PATH} \ ${CLASSES} \ ${OUT} \ [--exclude-extensions] -
-
IMG_PATH: 图片根路径。 -
CLASSES: 类列表文本文件名。文本中每一行存储一个类别。 -
OUT: 输出 json 文件名。 默认保存目录和IMG_PATH在同一级。 -
exclude-extensions: 待排除的文件后缀名。
-
-
在转换完成后，使用如下命令进行测试
-
# 单 GPU 测试 python tools/test.py \ ${CONFIG_FILE} \ ${CHECKPOINT_FILE} \ [--show] # CPU 测试：禁用 GPU 并运行单 GPU 测试脚本 export CUDA_VISIBLE_DEVICES=-1 python tools/test.py \ ${CONFIG_FILE} \ ${CHECKPOINT_FILE} \ [--out ${RESULT_FILE}] \ [--show] # 单节点多 GPU 测试 bash tools/dist_test.sh \ ${CONFIG_FILE} \ ${CHECKPOINT_FILE} \ ${GPU_NUM} \ [--show]
-
-
批量推理
-
MMDetection 在测试模式下，既支持单张图片的推理，也支持对图像进行批量推理。默认情况下，使用单张图片的测试，可以通过修改测试数据配置文件中的
samples_per_gpu来开启批量测试。 开启批量推理的配置文件修改方法为： -
data = dict(train_dataloader=dict(...), val_dataloader=dict(...), test_dataloader=dict(batch_size=2, ...)) -
或者你可以通过将
--cfg-options设置为--cfg-options test_dataloader.batch_size=来开启它。
-
-
测试时增强 (TTA):测试时增强 (TTA) 是一种在测试阶段使用的数据增强策略。它对同一张图片应用不同的增强，例如翻转和缩放，用于模型推理，然后将每个增强后的图像的预测结果合并，以获得更准确的预测结果。为了让用户更容易使用 TTA，MMEngine 提供了 BaseTTAModel 类，允许用户根据自己的需求通过简单地扩展 BaseTTAModel 类来实现不同的 TTA 策略。
-
使用 TTA 需要两个步骤。首先，你需要在配置文件中添加
tta_model和tta_pipeline： -
tta_model = dict( type='DetTTAModel', tta_cfg=dict(nms=dict( type='nms', iou_threshold=0.5), max_per_img=100)) tta_pipeline = [ dict(type='LoadImageFromFile', backend_args=None), dict( type='TestTimeAug', transforms=[[ dict(type='Resize', scale=(1333, 800), keep_ratio=True) ], [ # It uses 2 flipping transformations (flipping and not flipping). dict(type='RandomFlip', prob=1.), dict(type='RandomFlip', prob=0.) ], [ dict( type='PackDetInputs', meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape', 'scale_factor', 'flip', 'flip_direction')) ]])] -
第二步，运行测试脚本时，设置
--tta参数 -
# 单 GPU 测试 python tools/test.py \ ${CONFIG_FILE} \ ${CHECKPOINT_FILE} \ [--tta] # CPU 测试：禁用 GPU 并运行单 GPU 测试脚本 export CUDA_VISIBLE_DEVICES=-1 python tools/test.py \ ${CONFIG_FILE} \ ${CHECKPOINT_FILE} \ [--out ${RESULT_FILE}] \ [--tta] # 多 GPU 测试 bash tools/dist_test.sh \ ${CONFIG_FILE} \ ${CHECKPOINT_FILE} \ ${GPU_NUM} \ [--tta] -
也可以自己修改 TTA 配置，例如添加缩放增强：
-
tta_model = dict( type='DetTTAModel', tta_cfg=dict(nms=dict( type='nms', iou_threshold=0.5), max_per_img=100)) img_scales = [(1333, 800), (666, 400), (2000, 1200)] tta_pipeline = [ dict(type='LoadImageFromFile', backend_args=None), dict( type='TestTimeAug', transforms=[[ dict(type='Resize', scale=s, keep_ratio=True) for s in img_scales ], [ dict(type='RandomFlip', prob=1.), dict(type='RandomFlip', prob=0.) ], [ dict( type='PackDetInputs', meta_keys=('img_id', 'img_path', 'ori_shape', 'img_shape', 'scale_factor', 'flip', 'flip_direction')) ]])] ## 以上数据增强管道将首先对图像执行 3 个多尺度转换，然后执行 2 个翻转转换（翻转和不翻转），最后使用 PackDetInputs 将图像打包到最终结果中。
-
-
在自定义数据集上进行训练
-
准备自定义数据集，MMDetection 一共支持三种形式应用新数据集：
-
将数据集重新组织为 COCO 格式。
-
将数据集重新组织为一个中间格式。
-
实现一个新的数据集。
-
-
准备配置文件
-
在自定义数据集上进行训练，测试和推理。
-
-
在 MMDetection 3.0 之后，数据集和指标已经解耦（除了 CityScapes）。因此，用户在验证阶段使用任意的评价指标来评价模型在任意数据集上的性能。比如，用 VOC 评价指标来评价模型在 COCO 数据集的性能，或者同时使用 VOC 评价指标和 COCO 评价指标来评价模型在 OpenImages 数据集上的性能。
-
用于实例分割的 COCO 数据集格式如下所示，其中的键（key）都是必要的，参考这里来获取更多细节。标注文件时是 JSON 格式的，其中所有键（key）组成了一张图片的所有标注。
-
{ "images": [image], "annotations": [annotation], "categories": [category] } image = { "id": int, "width": int, "height": int, "file_name": str, } annotation = { "id": int, "image_id": int, "category_id": int, "segmentation": RLE or [polygon], "area": float, "bbox": [x,y,width,height], # (x, y) 为 bbox 左上角的坐标 "iscrowd": 0 or 1, } categories = [{ "id": int, "name": str, "supercategory": str, }]
-
-
其中将自定义dataset 转化为 COCO 格式的代码如下所示。
-
import os.path as osp import mmcv from mmengine.fileio import dump, load from mmengine.utils import track_iter_progress def convert_balloon_to_coco(ann_file, out_file, image_prefix): data_infos = load(ann_file) annotations = [] images = [] obj_count = 0 for idx, v in enumerate(track_iter_progress(data_infos.values())): filename = v['filename'] img_path = osp.join(image_prefix, filename) height, width = mmcv.imread(img_path).shape[:2] images.append( dict(id=idx, file_name=filename, height=height, width=width)) for _, obj in v['regions'].items(): assert not obj['region_attributes'] obj = obj['shape_attributes'] px = obj['all_points_x'] py = obj['all_points_y'] poly = [(x + 0.5, y + 0.5) for x, y in zip(px, py)] poly = [p for x in poly for p in x] x_min, y_min, x_max, y_max = (min(px), min(py), max(px), max(py)) data_anno = dict( image_id=idx, id=obj_count, category_id=0, bbox=[x_min, y_min, x_max - x_min, y_max - y_min], area=(x_max - x_min) * (y_max - y_min), segmentation=[poly], iscrowd=0) annotations.append(data_anno) obj_count += 1 coco_format_json = dict( images=images, annotations=annotations, categories=[{ 'id': 0, 'name': 'balloon' }]) dump(coco_format_json, out_file) if __name__ == '__main__': convert_balloon_to_coco(ann_file='data/balloon/train/via_region_data.json', out_file='data/balloon/train/annotation_coco.json', image_prefix='data/balloon/train') convert_balloon_to_coco(ann_file='data/balloon/val/via_region_data.json', out_file='data/balloon/val/annotation_coco.json', image_prefix='data/balloon/val')
-
-
使用如上的函数，用户可以成功将标注文件转化为 JSON 格式，之后可以使用
CocoDataset对模型进行训练，并用CocoMetric评测。 -
第二步需要准备一个配置文件来成功加载数据集。假设想要用 balloon dataset 来训练配备了 FPN 的 Mask R-CNN ，如下是配置文件。假设配置文件命名为
mask-rcnn_r50-caffe_fpn_ms-poly-1x_balloon.py，相应保存路径为configs/balloon/，配置文件内容如下所示。-
# 新配置继承了基本配置，并做了必要的修改 _base_ = '../mask_rcnn/mask-rcnn_r50-caffe_fpn_ms-poly-1x_coco.py' # 还需要更改 head 中的 num_classes 以匹配数据集中的类别数 model = dict( roi_head=dict( bbox_head=dict(num_classes=1), mask_head=dict(num_classes=1))) # 修改数据集相关配置 data_root = 'data/balloon/' metainfo = { 'classes': ('balloon', ), 'palette': [ (220, 20, 60), ] } train_dataloader = dict( batch_size=1, dataset=dict( data_root=data_root, metainfo=metainfo, ann_file='train/annotation_coco.json', data_prefix=dict(img='train/'))) val_dataloader = dict( dataset=dict( data_root=data_root, metainfo=metainfo, ann_file='val/annotation_coco.json', data_prefix=dict(img='val/'))) test_dataloader = val_dataloader # 修改评价指标相关配置 val_evaluator = dict(ann_file=data_root + 'val/annotation_coco.json') test_evaluator = val_evaluator # 使用预训练的 Mask R-CNN 模型权重来做初始化，可以提高模型性能 load_from = 'https://download.openmmlab.com/mmdetection/v2.0/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth'
-
-
为了使用新的配置方法来对模型进行训练，只需要运行如下命令。
-
python tools/train.py configs/balloon/mask-rcnn_r50-caffe_fpn_ms-poly-1x_balloon.py
-
-
为了测试训练完毕的模型，只需要运行如下命令。
-
python tools/test.py configs/balloon/mask-rcnn_r50-caffe_fpn_ms-poly-1x_balloon.py work_dirs/mask-rcnn_r50-caffe_fpn_ms-poly-1x_balloon/epoch_12.pth
-