【论文笔记】An Image Patch is a Wave: Phase-Aware Vision MLP

声明

不定期更新自己精度论文,通俗易懂,初级小白也可以理解

涉及范围:深度学习方向,包括 CV、NLP、Data Fusion、Digital Twin

【论文笔记】An Image Patch is a Wave: Phase-Aware Vision MLP_第1张图片论文标题:An Image Patch is a Wave: Phase-Aware Vision MLP

论文链接:https://arxiv.org/abs/2111.12294

论文代码:http://The shttps: //github.com/huawei-noah/CV-Backbones/ tree/master/wavemlp_pytorch

发表时间: 2022年4月

创新点

1、将 patch 以一种动态形式 (wave) 输入,以此实现不同的 patch 之间的非线性联系

Abstract

在计算机视觉领域,最近的工作表明,主要由全连接层堆叠的纯 MLP 架构可以实现与 CNN 和 Transformer 竞争的性能。视觉 MLP 的输入图像通常被拆分为多个令牌(补丁),而现有的 MLP 模型直接将它们以固定的权重聚合,忽略了来自不同图像的令牌的不同语义信息。为了动态聚合令牌,我们建议将每个令牌表示为具有振幅和相位两部分的波函数。幅度是原始特征,相位项是根据输入图像的语义内容而变化的复数值。引入相位项可以动态调节 MLP 中令牌和固定权重之间的关系。基于类波令牌表示,我们为视觉任务建立了一种新颖的 WaveMLP 架构。大量实验表明,在图像分类、对象检测和语义分割等各种视觉任务上,所提出的 Wave-MLP 优于最先进的 MLP 架构。

Method

通俗上讲,CV 领域的发展历程是从卷积到 Transformer 的。而 Transformer 的核心原理是把图片分解成每一个 patch,然后计算所有的 patch 之间的相似度,相近的则权重变大,而 MLP 也是在做同样一件事,不过 MLP 模型聚合了具有固定权重的不同 patch(或token),导致会忽略他们之间的差异特征,作者基于此,将 patch 以波的形式输入,初相可以理解成原始特征,振幅,表示非线性的差异特征,解决上述问题。

作为为什么会有这个思想呢?作者受到量子力学的启发,这个地方就不在这里细说了,感兴趣的可以查看原文,参看参考文献。

相位和振幅的概念,属于数学中,复数或三角函数的理解。(属于个人理解)

【论文笔记】An Image Patch is a Wave: Phase-Aware Vision MLP_第2张图片

PATM 的构造分为 Real Part(实部),Imaginary Part(虚部),上图结构图很简单,这里属于一种数学运算,

我个人理解:Real Part 可以理解成 MLP 聚合的权重信息,而 Imaginary Part 可以理解成为他们之间的差异关系。

附,计算公式,如下图

感兴趣的同学们,可以自行看一下原文,我没看太仔细看

zj:表示输入的向量

Wc:表示一个可以学习的权重,意义为 MLP 进行权重学习


Wt:表示第 j 个的 patch 的混合权重(可以理解为虚部的权重特征) 


 zj:上文提过,是真实的特征向量

ei:是一个周期函数,这里逐元素相乘,我理解是给每一特征加上波的概念,增加虚部(差异特征)


【论文笔记】An Image Patch is a Wave: Phase-Aware Vision MLP_第3张图片

一系列的数学运算,数学好的,可以在评论区,写上自己的理解 


xj:是作为 patch 的输入,上文的 zj 是作为每个函数的自变量的意思 


【论文笔记】An Image Patch is a Wave: Phase-Aware Vision MLP_第4张图片

Experiments

实验目标:将提出的 Wave-MLP 架构与 ImageNet 上现有的视觉 MLP 模型进行比较

实验结果:有明显优势

【论文笔记】An Image Patch is a Wave: Phase-Aware Vision MLP_第5张图片


实验目标:表 2. 提出的 Wave-MLP 架构与 ImageNet 上的 SOTA 模型的比较

实验结果:结果与最先进的 transformer 模型,有略微优势

【论文笔记】An Image Patch is a Wave: Phase-Aware Vision MLP_第6张图片


实验目标:COCO val 2017 上的对象检测和实例分割结果

实验结果:效果最好

【论文笔记】An Image Patch is a Wave: Phase-Aware Vision MLP_第7张图片


实验目标:ADE20K 验证集上不同主干的语义分​​割结果

实验结果:效果最好

【论文笔记】An Image Patch is a Wave: Phase-Aware Vision MLP_第8张图片

 写在最后

Wave-MLP 可以理解成,一种新的 MLP 结构,可以直接应用在我们的神经网络之中,北大和华为方舟,真是大牛云集呀!!!

你可能感兴趣的:(论文笔记)