关于mmsegmentation的自定义数据集格式的一些坑（2）

这次又有任务要跑mmseg，我本意是拒绝的，奈何老板喜欢，mm系列的东西，那一套流程，真心玩不转，玩着玩着心就累了。

mm系列和detectron差不多，要找其代码流转，都是要先看配置文件，比较麻烦，需要一定的经验，然后前面两篇都写了我是怎么查看的，这个东西多说无益，我只能说我是怎么看的，希望对各位有所帮助。

一：安装

这个mmsegmentation，我用的官方的代码，安装还是非常方便的，就是先装一个mmcv再装本体就可以了，mmcv，文档里面写的是mmcv和mmcv-full都可以，但是似乎是mmcv会有什么问题，所以建议安装mmcv-full，具体的文档写的还比较详细，不过因为他是conda新建了一个环境，如果想要直接装的话，应该是

pip install mmcv-full=={mmcv-version} -f https://download.openmmlab.com/mmcv/dist/cu{cuda-version}/torch{t-version}/index.html

这里，如果mmcv不指定版本的话，mmcv-version这一项就去掉，cuda的version，10.1就是101，11.1就是111，我是10.2，所以就是cu102，torch的版本就自己看一下，建议按照自己的环境来装

pip install mmcv-full -f https://download.openmmlab.com/mmcv/dist/cu102/torch1.8.1/index.html

安装需要一定的时间，装好之后再pip装一下mmseg就可以了，我是下载项目，然后再装的

git clone https://github.com/open-mmlab/mmcv.git
cd mmcv
pip install -e .

装好后可能还需要一些依赖库，直接pip就行了

 

装好只是第一步，然后就要开始漫长的查代码之途了。

 

二：数据集

这边用的配置文件是driver数据集的配置文件，但是我需要用自己的数据集，最简单的做法是将自己的数据集转成他的格式，但是driver貌似不好下载，这边还是想折腾代码，并且文档写了如何自定义，只是看过之后，直呼，果然没什么用，以下是我的个人解决方式。

看一下dataset的配置文件

dataset_type = 'CustomDataset'
data_root = 'data/customdataset'

第一项是数据格式类型，这个不能乱写，在“mmseg/datasets/__init__.py”中有写支持哪些，如果有兴趣的话，可以参照类似的自己的写一个，我这边就是用CustomDataset就好了；第二项是图片文件夹存放位置的路径，代码会将这个路径作为根目录，拼接上下面的图片路径，所以这个参数有值的话，下面的路径就是要相对这个路径来填

稍微看一下这个CustomDataset的代码，他默认是label和img放再一起，只通过后缀名来区分，所以他的类初始化的时候，要传两个文件的后缀名，这么操作也行，本着折腾代码的目的，我这边是，将我需要读取的文件名写在一个txt文档中，作为split的参数传入

def __init__(self,
                 pipeline,
                 img_dir,
                 img_suffix='.jpg',
                 ann_dir=None,
                 seg_map_suffix='.png',
                 split=None,
                 data_root=None,
                 test_mode=False,
                 ignore_index=255,
                 reduce_zero_label=False,
                 classes=None,
                 palette=None):

这是这个类的初始化的部分，其中split这个参数的意义是，如果这个参数非None，那他只会读取该文件内写的文件，从这个实现方式可以看到

img_infos = []
        if split is not None:
            with open(split) as f:
                for line in f:
                    img_name = line.strip()
                    img_info = dict(filename=img_name + img_suffix)
                    if ann_dir is not None:
                        seg_map = img_name + seg_map_suffix
                        img_info['ann'] = dict(seg_map=seg_map)
                    img_infos.append(img_info)

不过我是将图片名和他对应的mask的文件名写在同一行，以tab隔开，所以这里需要修改一下

with open(split) as f:
                for line in f:
                    # img_name = line.strip()
                    # img_info = dict(filename=img_name + img_suffix)
                    # if ann_dir is not None:
                    #     seg_map = img_name + seg_map_suffix
                    #     img_info['ann'] = dict(seg_map=seg_map)
                    # img_infos.append(img_info)
                    imgPath, maskPath = line.strip().split('\t')
                    img_info = dict(filename=f'{self.data_root}/{imgPath}')
                    img_info['ann'] = dict(seg_map=f'{self.data_root}/{maskPath}')
                    img_infos.append(img_info)

这里的路径我的传参有点问题，我的txt内的路径是相对data_root的，后面还有一些需要改的，根据报错修改就好，这就省略了

这里再说一下那个dataset的配置文件，比如split怎么传，后缀名怎么修改默认，因为文件很长，只放了参数这部分，上面一部分是pipeline，就是图片需要经过哪几个流程，比如需要loading，crop之类的，一看就懂

data = dict(
    samples_per_gpu=10,
    workers_per_gpu=2,
    train=dict(
        type='RepeatDataset',
        times=40000,
        dataset=dict(
            type=dataset_type,
            data_root=data_root,
            img_dir='img',
            ann_dir='mask',
            img_suffix='.jpg',
            seg_map_suffix='.jpg',
            split='train.txt',
            pipeline=train_pipeline)),
    val=dict(
        type=dataset_type,
        data_root=data_root,
        img_dir='img',
        ann_dir='mask',
        img_suffix='.jpg',
        seg_map_suffix='.jpg',
        split='val.txt',
        pipeline=test_pipeline),
    )

在pipeline中，传参就是参数直接写在后面即可，这个data不一样，参数是作为dataset字典的内容写出来的

train_pipeline = [
    dict(type='LoadImageFromFile', to_float32=True),
    dict(type='LoadAnnotations'),
    dict(type='Resize', img_scale=img_scale, ratio_range=(0.5, 2.0)),
    dict(type='RandomCrop', crop_size=crop_size, cat_max_ratio=0.75),
    dict(type='RandomFlip', prob=0.5),
    dict(type='PhotoMetricDistortion'),
    dict(type='Pad', size=crop_size, pad_val=0, seg_pad_val=255),
    dict(type='DefaultFormatBundle'),
    dict(type='Collect', keys=['img', 'gt_semantic_seg'])
]

这个pipeline中，loadimage这里，他的代码流程是，刚刚不是在custom.py中嘛，读取文件路径之后，这个__getitem__方法就是dataloader的读取图片的部分，根据里面的流程走，走到

def prepare_train_img(self, idx):
        img_info = self.img_infos[idx]
        ann_info = self.get_ann_info(idx)
        results = dict(img_info=img_info, ann_info=ann_info)
        self.pre_pipeline(results)
        return self.pipeline(results)

这个函数，返回的地方，self.pipeline就是上面的train_pipeline，可以找一下LoadImageFromFile这个类的位置，仔细看一下他是怎么读取的，他的传参，就是results，两个对照看一下，很容易理解里面的参数都是些啥，修改也就比较方便

重点说一下这个to_float32，这个值是默认False的，他是读取图片了之后，可以转成np.float32的类型，但是我这边在训练的时候一直报错，Input type (torch.cuda.ByteTensor) and weight type (torch.cuda.FloatTensor) should be the same，这里我一直百思不得其解，后来根据报错追溯代码，发现输入网络的地方，输入tensor的dtype是torch.uint8，我也是经历少，不知道这个类型是不能输入网络的，转一下就可以了。不过本着折腾代码的精神，后来设置了to_float32为True，但是依然不行，那么必然是后面的步骤中，哪一步又重新转回的uint8，经过一番查找，在PhotoMetricDistortion这个里面，感兴趣可以自己查查看，或者不查，在其return之前，将图片再转一次类型。

这里多提下，在调试的时候，直接打印result['img']的shape或者dtype的话会报错'DataContainer' object has no attribute 'shape'，此时应该是result['img'].data.shape

 

第2个坑是，在解决上面的问题之后，一直报这个错，Default process group has not been initialized, please make sure to call init_process_group.，对我这样的渣渣太不友好了，这个查了很久，都说是，他是要求多卡，但是你是单卡，虽然我电脑是多卡，但是明明文档都说了可以单卡，还提供了单卡的执行示例。最后翻看issue，发现model这个配置文件中，第一句

norm_cfg = dict(type='SyncBN', requires_grad=True)

将SyncBN改成BN就可以单卡了，唉，心好累。。。。

 

最后，关于Input type (torch.cuda.ByteTensor) and weight type (torch.cuda.FloatTensor) should be the same这个报错，真的很烦啊，而且很明显的问题啊，为啥没有人提问，难道是我操作失误么，，，现在还在训练，也不知道会不会有别的问题