深度学习论文: Efficient Multi-order Gated Aggregation Network及其PyTorch实现

深度学习论文: Efficient Multi-order Gated Aggregation Network及其PyTorch实现
Efficient Multi-order Gated Aggregation Network
PDF: https://arxiv.org/pdf/2211.03295.pdf
PyTorch代码: https://github.com/shanglianlm0525/CvPytorch
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

MogaNet通过在空间和通道交互空间中利用两个专门设计的聚合模块，促进了跨多个复杂性的交互并将其情境化。

轻量级的MogaNet-T通过在ImageNet-1K上进行精确的训练设置，以1.44G的FLOPs实现80.0%的top-1精度，超过ParC-Net-S 1.4%的精度，但节省了59%（2.04G）的FLOPs。

2 MogaNet

2-1 Overview of MogaNet

整个MogaNet架构如下图：

2-2 Multi-order Gated Aggregation

传统DNN倾向于关注低阶或高阶相互作用。但是错过了最丰富的中阶交互。因此，主要的挑战是如何有效地捕捉上下文中的多阶交互。

由 2 个级联组件组成：

其中 FD 表示为：

Moga用三个DWConv编码来自context分支multi-order特征。

2-3 Multi-order Features Reallocation by Channel Aggregation

通道聚合模块CA() 来重新加权高维隐藏空间, 并进一步将其扩展到通道聚合CA块。CA块表示为

其中 CA() 为

2-4 Architecture Details

MogaNet的不同结构配置xt, t, s, b, l。

3 Experiments

COCO 和 ADE20K 的实验结果。