BCN：图像分类的批处理通道归一化

摘要

归一化技术已被广泛应用于深度学习领域，因为它们能够提高学习率并减少对初始化的依赖。然而，流行的归一化技术的有效性通常仅限于特定领域。与标准的批量归一化（Batch Normalization，BN）和层归一化（Layer Normalization，LN）不同，其中BN沿（N，H，W）维度计算均值和方差，而LN沿（C，H，W）维度计算均值和方差（N、C、H和W分别是批量、通道、空间高度和宽度维度），本文提出了一种名为批量通道归一化（Batch Channel Normalization，BCN）的新型归一化技术。为了利用通道和批次的依赖性，并基于特定数据集或任务自适应地结合BN和LN的优点，BCN分别沿（N，H，W）和（C，H，W）轴对输入进行归一化，然后根据自适应参数组合归一化的输出。作为基本块，BCN可以轻松集成到计算机视觉领域的各种现有模型中。实验结果表明，所提出的技术可以无缝应用于各种版本的CNN或Vision Transformer架构。代码可在https://github.com/AfifaKhaled/BatchChannel-Normalization上公开获取。

1、Introduction

在过去的几十年里，机器学习（ML）已经成为人工智能领域最广泛使用的技术，而最近，深度学习（DL）已经成为一个热门话题，深度神经网络（DNNs）广泛应用于各个领域&