nn.BatchNorm2d()函数详解

一、实例应用：

        if module_def["type"] == "convolutional":   # 如果类型是convolutional，添加Con卷积层conv_{module_i}
            bn = int(module_def["batch_normalize"])
            filters = int(module_def["filters"])
            kernel_size = int(module_def["size"])
            pad = (kernel_size - 1) // 2
            modules.add_module(
                f"conv_{module_i}",
                nn.Conv2d(
                    in_channels=output_filters[-1],
                    out_channels=filters,
                    kernel_size=kernel_size,
                    stride=int(module_def["stride"]),
                    padding=pad,
                    bias=not bn,
                ),
            )
            if bn:   # 添加batch_norm_{}层归一化处理，添加BN层batch_norm_{module_i}
                modules.add_module(f"batch_norm_{module_i}", nn.BatchNorm2d(filters, momentum=0.9, eps=1e-5))
            if module_def["activation"] == "leaky":   # leaky处理，添加leaky层leaky_{module_i}
                modules.add_module(f"leaky_{module_i}", nn.LeakyReLU(0.1))

二、nn.BatchNorm2d()函数详解：

函数语法格式和作用

torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)

**作用：**卷积层之后总会添加BatchNorm2d进行数据的归一化处理，这使得数据在进行Relu之前不会因为数据过大而导致网络性能的不稳定。

参数解释

• num_features：一般输入参数为batch_size×num_features×height×width，即为其中特征的数量
• eps：分母中添加的一个值，目的是为了计算的稳定性，默认为：1e-5
• momentum：一个用于运行过程中均值和方差的一个估计参数
• affine：当设为true时，会给定可以学习的系数矩阵gamma和beta