图像融合中transformer

现在深度学习中transformer 模型已经得到了深度的应用，不同的计算机视觉任务中大家都开始使用transformer跟当初attention 机制刚刚提出来一样。今天看到一篇很有趣的文章。一个基于transformer 的图像融合算法。主要逻辑框架如下图：

 

总体上看，这是一个编码解码的结构。这里我不是主要弄图像融合，我看到这个网络结构模型突然想到了，语义分割网络中是否可以使用该网络结构呢。其中主要是一个transformer 模块的加入。由机会，大家可以尝试一下。