『paddle』paddleseg 学习笔记：自定义组件

---

PaddleSeg 提供了五种类型的可扩展组件，即 MODELS、LOSSES、TRANSFORMS、BACKBONES、DATASETS。

PaddleSeg使用基于面向对象的设计思想，在创造你自己的模型时，请以 Python class 的形式编写。

一、创建自定义分割模型

如果你打算设计一个自定义分割模型，例如在 newnet.py 中实现 NewNet 类（你可以为你的模型起任何名字，但不要与已有模型的名字重复）:

import paddle.nn as nn
from paddleseg.cvlibs import manager

@manager.MODELS.add_component
class NewNet(nn.Layer):
    def __init__(self, param1, param2, param3):
        pass
    def forward(self, x):
        pass

• 步骤 1: 将 newnet.py 文件放置在目录 paddleseg/models/ 下。

• 步骤 2: 在你的自定义模型类的上方添加一个 Python 装饰器 @manager.MODELS.add_component。manager 是一个组件容器，包括 MODELS、BACKBONES、DATASETS、TRANSFORMS、LOSSES。当你添加了这个装饰器并在训练时合理的指定参数，PaddleSeg 就可以自动将你实现的模块添加到训练配置中，体现了低耦合的设计思想。

• 步骤 3: 在 paddleseg/models/__init__.py 中导入你的自定义分割模型类，如下所示:

from .backbones import * # 已经实现的骨干网络类
from .losses import * # 已经实现的损失函数类

from .ann import * #目前已经实现的21种分割模型。你将按照同样的规则添加自己的自定义分割模型。
from .bisenet import *
from .danet import *
from .deeplab import *
from .fast_scnn import *
from .fcn import *
from .gcnet import *
from .ocrnet import *
from .pspnet import *
from .gscnn import GSCNN
from .unet import UNet
from .hardnet import HarDNet
from .u2net import U2Net, U2Netp
from .attention_unet import AttentionUNet
from .unet_plusplus import UNetPlusPlus
from .unet_3plus import UNet3Plus
from .decoupled_segnet import DecoupledSegNet
from .emanet import *
from .isanet import *
from .dnlnet import *
from .sfnet import *
from .shufflenet_slim import ShuffleNetV2 # 以上导入请不要改动，否则会导致一些模型不可用

from .newnet import NewNet # 请在这里添加你自己实现的分割模型类

• 注意：如果仅实现了自己的类，而不在 models 的构造函数中导入你的类，PaddleSeg 将无法识别你添加的模型！

• 步骤 4: 在 yaml 文件中将 type 参数指定为你所创建的分割模型的名称（该参数必须与 newnet.py 中的 NewNet 类名保持一致，请不要误输为 python 文件的名称）。

另外，请你记住所创建的 yaml 文件的完整路径，以便后续在为 train.py 设置模型配置参数时使用你想要的配置。建议将模型的 yaml 文件都保存在 PaddleSeg/configs 的对应模型目录下。

model:
  type: NewNet # 你的自定义模型名称
  param1: ...
  param2: ...
  param3: ...

• 注意：如果你的模型有多个输出，即 损失 = 主损失 + 辅助损失，则你必须修改 yaml 文件中的相应参数，否则会抛出 “logits 的长度应该等于 loss 配置的类型数目： 2!=1。” 的错误。 比如 PSPNet 有两个 loss，且都是 CrossEntropyLoss，辅助 loss 的权重是 0.4，所以我们对 loss 的设置如下：

loss:
  types:
    - type: CrossEntropyLoss
  coef: [1, 0.4] #为主损失和辅助损失分配不同的比重，即主损失对最终损失影响更大。

二、创建自定义损失函数

如果你打算设计一个自定义损失函数，例如在 new_loss.py 中实现 NewLoss 类（你可以为你的损失函数起任何名字，但不要与已有损失函数的名字重复）:

import paddle.nn as nn
from paddleseg.cvlibs import manager

@manager.LOSSES.add_component
class NewLoss(nn.Layer):
    def __init__(self, param1, ignore_index=255):
        pass
    def forward(self, x):
        pass

• 步骤 1: 将 new_loss.py 文件放置在目录 paddleseg/models/losses 下。

• 步骤 2: 在你的自定义损失函数类的上方添加一个Python装饰器 @manager.LOSSES.add_component。

• 步骤 3: 在 paddleseg/models/losses/__init__.py 中导入你的自定义损失函数类，如下所示：

from .mixed_loss import MixedLoss
from .cross_entropy_loss import CrossEntropyLoss
from .binary_cross_entropy_loss import BCELoss
from .lovasz_loss import LovaszSoftmaxLoss, LovaszHingeLoss
from .gscnn_dual_task_loss import DualTaskLoss
from .edge_attention_loss import EdgeAttentionLoss
from .bootstrapped_cross_entropy import BootstrappedCrossEntropyLoss
from .dice_loss import DiceLoss
from .ohem_cross_entropy_loss import OhemCrossEntropyLoss
from .decoupledsegnet_relax_boundary_loss import RelaxBoundaryLoss
from .ohem_edge_attention_loss import OhemEdgeAttentionLoss
from .l1_loss import L1Loss
from .mean_square_error_loss import MSELoss # 以上导入请不要改动，否则会导致一些损失函数不可用

from .new_loss import NewLoss # 请在这里添加你自己实现的损失函数类

• 步骤 4: 在 yaml 文件中将 type 参数指定为你所创建的损失函数的名称。

loss:
  types:
    - type: NewLoss # 你的自定义损失函数名称
      param1: ...
  coef: [1]

三、创建自定义数据变换（数据增强）

如果你打算设计一个自定义数据变换（数据增强），例如在 transforms.py 中新实现一个 NewTrans 类:

@manager.TRANSFORMS.add_component
class NewTrans(nn.Layer):
    def __init__(self, param1):
        pass
    def __call__(self, im, label=None):
    
        ...
        
        if label is None:
            return (im, )
        else:
            return (im, label)

• 步骤 1: 在 paddleseg/transforms/transforms.py 文件中定义 NewTrans 类。

• 步骤 2: 在你的 transform 类的上方添加一个Python装饰器 @manager.TRANSFORMS.add_component。这样就可以了。

• 请注意，不再需要将该类导入到 transforms 的构造函数中了。在 PaddleSeg 中，transform 组件把所有类都集成在一个文件里。你可以查看 PaddleSeg/paddleseg/transforms/__init__.py，看看其文件内容与上文提到的 paddleseg/models/__init__.py 与 paddleseg/models/losses/__init__.py 的文件内容有何不同。

from .transforms import *
from . import functional

# 可以看到，PaddleSeg/paddleseg/transforms/\_\_init\_\_.py 文件中，
# 以 from .transforms import * 导入所有已有的数据变换策略。

# 因此在你的自定义 transform 类写好后，在类对象创建过程中，它会被自动添加进来。

• 步骤 3: 在 yaml 文件中将 type 参数指定为你所创建的数据变换（数据增强）的名称:

train_dataset:
  transforms:
    - type: NewTrans 	# 你的自定义数据变换名称
      param1: ...

注意：为了更好的可读性，请在 paddleseg/transforms/functional.py 中实现详细的转换函数。

四、创建自定义骨干网络

如果你打算设计一个自定义骨干网络，例如在 new_backbone.py 中实现 NewBackbone 类（你可以为你的骨干网络起任何名字，但不要与已有骨干网络的名字重复）:

import paddle.nn as nn
from paddleseg.cvlibs import manager

@manager.BACKBONES.add_component
class NewBackbone(nn.Layer):
    def __init__(self, param1):
        pass
    def forward(self, x):
        pass

• 步骤 1: 将 new_backbone.py 文件放置在目录 paddleseg/models/backbones 下。

• 步骤 2: 在你的自定义骨干网络类的上方添加一个 Python 装饰器 @manager.BACKBONES.add_component。

• 步骤 3: 在 paddleseg/models/backbones/__init__.py 中导入你的自定义骨干网络类，如下所示：

# 目前支持4种骨干网络
from .hrnet import *
from .resnet_vd import *
from .xception_deeplab import *
from .mobilenetv3 import * # 以上导入请不要改动，否则会导致一些骨干网络不可用

from .new_backbone import NewBackbone # 请在这里添加你自己实现的骨干网络类

• 步骤 4: 在 yaml 文件中将 type 参数指定为你所创建的骨干网络的名称。

model:
  backbone:
    type: NewBackbone # 你的自定义骨干网络名称
    param1: ...

五、创建自定义数据集

如果你打算设计一个自定义数据集，例如在 new_data.py 中实现 NewData 类:

from paddleseg..dataset import Dataset
from paddleseg.cvlibs import manager

@manager.DATASETS.add_component
class NewData(Dataset):
    def __init__(self,
                 dataset_root=None,
                 transforms=None,
                 mode='train'):
        pass

• 步骤 1: 将 new_data.py 文件放置在目录 paddleseg/datasets 下。

• 步骤 2: 在你的自定义数据集类的上方添加一个 Python 装饰器 @manager.DATASETS.add_component。

• 步骤 3: 在 paddleseg/datasets/__init__.py 中导入你的自定义数据集类，如下所示：

from .dataset import Dataset
from .cityscapes import Cityscapes
from .voc import PascalVOC
from .ade import ADE20K
from .optic_disc_seg import OpticDiscSeg
from .pascal_context import PascalContext
from .mini_deep_globe_road_extraction import MiniDeepGlobeRoadExtraction # 以上导入请不要改动，否则会导致一些数据集不可用

from .new_data import NewData # 请在这里添加你自己实现的数据集类

• 步骤 4: 在 yaml 文件中将 type 参数指定为你所创建的数据集的名称。

train_dataset:
  type: NewData # 你的自定义数据集名称
  dataset_root: ...
  mode: train

举例

假设我们已经按照以上步骤编写好了五个自定义组件：MODELS（NewNet）、LOSSES（NewLoss）、TRANSFORMS（NewTrans）、BACKBONES（NewBackbone）、DATASETS（NewData）。

假设我们要为自定义模型的训练编写 yaml 文件，以设定本次用到的参数。此处我们主要关心对自定义组件参数的配置，其他参数（如优化器）不过多介绍，建议沿用参考配置。如:

batch_size: 4 	# 设定迭代一次送入网络的图片数量。一般来说，你所使用机器的显存越大，可以调高batch_size的值。

iters: 10000 	# 迭代次数

model:
  type: NewNet 	# 自定义模型类的名称
  backbone:
    type: NewBackbone 	# 自定义骨干网络类的名称
    pretrained: Null 	# 如果你实现训练过骨干网络的参数，请指定其存放路径
  num_classes: 5 		# 标注图中像素类别个数。你的模型应该是根据具体的分割任务设计的，因此你知道该任务下像素类别个数
  pretrained: Null 		# 如果你有网络的与预训练参数，请指定其存放路径
  backbone_indices: [-1]

loss:
  types:
    - type: NewLoss 	# 自定义损失函数类的名称
  coef: [1] 			# 若使用多种loss，该列表长度与loss数目保持一致


train_dataset:
  type: NewData 		# 自定义数据集类的名称
  dataset_root: data/custom_data 	# 请参考README文档，按其推荐的整理结构组织分割任务所需要的文件，将其放在相应的项目路径下。推荐放在data/下。
  transforms:
    - type: NewTrans 	# 自定义数据转换（数据增强）类的名称
      custom_factor: 0.5
  mode: train 			# 对训练集设定训练模式


val_dataset:
  type: NewData
  dataset_root: data/custom_data
  transforms:
    - type: Normalize
  mode: val 			# 对验证集设定验证模式

optimizer: 				# 优化器设置
  type: sgd 
  momentum: 0.9
  weight_decay: 4.0e-5

lr_scheduler: 			# 学习率的设置
  type: PolynomialDecay
  learning_rate: 0.01
  power: 0.9
  end_lr: 0

假设我们将上面的 yaml 文件保存为 PaddleSeg/configs/custom_configs/NewNet_NewLoss_NewTrans_NewBackbone_NewData.yml，请先切换到 PaddleSeg 目录下后，运行以下命令：

python train.py \
       --config configs/custom_configs/NewNet_NewLoss_NewTrans_NewBackbone_NewData.yml \
       --do_eval \
       --use_vdl \
       --save_interval 500 \
       --save_dir output