浅析mmdetection demo

一、import做了啥
每个import都会执行对应的模块或者py文件，包括其中定义的函数和装饰器。

#自己编写的用来训练的.py文件
from mmdet.datasets.builder import DATASETS
#mmdet/datasets/builder.py
#这个地方就需要注意了，mmcv.runner是个文件夹，这里被当作包来引用，也就是会执行mmcv/runner/__init__.py
from mmcv.runner import get_dist_info
#mmcv/runner/__init__.py
from .base_runner import BaseRunner
#mmcv/runner/base_runner.py
#这个地方也需要注意了，.hooks是个文件夹，这里被当作包来引用，也就是会执行
mmcv/runner/hooks/__init__.py，上面的代码。
from .hooks import HOOKS, Hook
#mmcv/runner/hooks/__init__.py代码中的每个引用都会执行内部的装饰器函数，也就是把对应的类名和类添加到HOOKS._module_dict中。

初始化下列全局变量，实例化N个Registry 类，每个类内部维护的是一个全局 key-value 对。

#mmdet/datasets/builder.py
DATASETS = Registry('dataset')
PIPELINES = Registry('pipeline')
#mmdet/models/builder.py
from mmcv.cnn import MODELS as MMCV_MODELS
from mmcv.utils import Registry
MODELS = Registry('models', parent=MMCV_MODELS)
#mmcv/runner/hooks/hook.py
HOOKS = Registry('hook')

二、cfg = Config.fromfile做了啥
py文件转成dict类型的配置参数
三、build_dataset做了啥
创建数据类KittiTinyDataset，很多属性都是父类的，包括pipeline。

#根据配置文件创建数据
datasets = [build_dataset(cfg.data.train)]
#数据类的实例化
class KittiTinyDataset(CustomDataset)
#父类CustomDataset属性,self.pipeline，Compose类的实例化。self.pipeline()会调用Compose类的__call__函数。属性self.data_infos。
self.data_infos = self.load_annotations(self.ann_file)
self.pipeline = Compose(pipeline)

四、build_detector做了啥
实例化模型

model = build_detector(
    cfg.model, train_cfg=cfg.get('train_cfg'), test_cfg=cfg.get('test_cfg'))
DETECTORS.build(
        cfg, default_args=dict(train_cfg=train_cfg, test_cfg=test_cfg))
#实例化FasterRCNN类，进而实例化模型的整体架构
 class FasterRCNN(TwoStageDetector):
 class TwoStageDetector(BaseDetector):
 class BaseDetector(BaseModule, metaclass=ABCMeta):

五、train_detector做了啥

#将自定义的Dataset根据batch size大小、是否shuffle等封装成一个Batch Size大小的Tensor，用于后面的训练
    data_loaders = [
        build_dataloader(
            ds,
            cfg.data.samples_per_gpu,
            cfg.data.workers_per_gpu,
            # `num_gpus` will be ignored if distributed
            num_gpus=len(cfg.gpu_ids),
            dist=distributed,
            seed=cfg.seed,
            runner_type=runner_type,
            persistent_workers=cfg.data.get('persistent_workers', False))
        for ds in dataset
    ]
optimizer = build_optimizer(model, cfg.optimizer)

#runner（实现在mmcv中）主要是用来管理模型训练时的生命周期，负责 OpenMMLab 中所有框架的训练过程调度，
#也就是管理何时执行resume、logger、save checkpoint、学习率更新、梯度计算BP等常见操作。\
#runner配置文件内容runner = dict(type='EpochBasedRunner', max_epochs=12)
#build_runner最后也是调用build_from_cfg，根据配置文件去实例化EpochBasedRunner/IterBasedRunner
runner = build_runner(
        cfg.runner,
        default_args=dict(
            model=model,
            optimizer=optimizer,
            work_dir=cfg.work_dir,
            logger=logger,
            meta=meta))
# register_training_hooks注册多个hook，在训练过程中调用，学习率设置、优化器设置、模型保存、日志打印等。
#最后也是调用build_from_cfg，根据配置文件去实例化各个Hook类
 runner.register_training_hooks(
        cfg.lr_config,
        optimizer_config,
        cfg.checkpoint_config,
        cfg.log_config,
        cfg.get('momentum_config', None),
        custom_hooks_config=cfg.get('custom_hooks', None))
 #把实例化的hook插入到    self._hooks
# register_training_hooks、register_lr_hook等、register_hook 都是BaseRunner类的方法。_hooks是BaseRunner类的属性
self.register_hook(hook, priority='VERY_HIGH')
self._hooks.insert(i + 1, hook)

#加载模型
    runner.load_checkpoint(cfg.load_from)
 # runner.run-> runner.train-> runner.run_iter->self.model.train_step,进行模型训练
    runner.run(data_loaders, cfg.workflow)
    #根据mode内容，epoch_runner=train或者epoch_runner=val
 epoch_runner = getattr(self, mode)
 epoch_runner(data_loaders[i], **kwargs)
 #训练一轮数据
def train(self, data_loader, **kwargs):
    self.model.train()
    self.mode = 'train'
    self.data_loader = data_loader
    self._max_iters = self._max_epochs * len(self.data_loader)
    self.call_hook('before_train_epoch')
    time.sleep(2)  # Prevent possible deadlock during epoch transition
    for i, data_batch in enumerate(self.data_loader):
        self._inner_iter = i
        self.call_hook('before_train_iter')
        self.run_iter(data_batch, train_mode=True, **kwargs)
        self.call_hook('after_train_iter')
        self._iter += 1

    self.call_hook('after_train_epoch')
    self._epoch += 1