【深度学习】FFA-Net:北大&北航提出的图像去雾的新型网络(代码在Github上已开源)

1.新颖之处:提出了一种端到端的特征融合注意力网络(Feature Fusion Attention Network),可直接将有雾的图像恢复成无雾图像。算法主线:通道上的权重、各个像素位置处的权重是根据特征的重要程度来分配的。
2.FFA-Net框架结构:
【深度学习】FFA-Net:北大&北航提出的图像去雾的新型网络(代码在Github上已开源)_第1张图片
上图为FFA-Net的框架结构图,从整体来看,其为全局残差网络,输入为haze image,经过shortcut与残差网络的主分支进行element-wise sum操作之后得到haze-free image。
FFA-Net的主分支较为复杂,主分支中,从左到右的结构依次为卷积层、Group1 Architecture、Group2 Architecture、Group3 Architecture、前3个Group Architecture输出结果的通道组合、Channel Attention、Pixel Attention、主分支与shortcut进行element-wise sum操作、输出haze-free image。 (注意,原论文中提到的element-wise sum和element-wise product分别为元素对应位置处相加和相乘操作)
每一个Group Architecture结构为上图底部灰色部分,Group结构是由若干个B Basic Blocks Architecture(即图中的B-1、B-2、B-N)和局部残差网络构成。而每一个B基础模块是下图中的结构:
【深度学习】FFA-Net:北大&北航提出的图像去雾的新型网络(代码在Github上已开源)_第2张图片
其中,蓝色的为卷积层,黄色的为relu激活层,CA为Channel Attention,PA为Pixel Attention,CA和PA统称为FA(Feature Attention)。从整体来看,B基础模块中依然是由局部残差网络组成。
【深度学习】FFA-Net:北大&北航提出的图像去雾的新型网络(代码在Github上已开源)_第3张图片
CA和PA的结构如下所示:
【深度学习】FFA-Net:北大&北航提出的图像去雾的新型网络(代码在Github上已开源)_第4张图片
Channel Attention是根据不同通道的特征重要程度学习权重,每个通道的权重不同,但是同一个通道不同像素位置处的权重是一样的。Pixel Attention是根据不同像素位置处的特征的重要程度学习权重,每个通道权重相同,但是同一个通道不同像素位置处的权重不同。我们可以看到Pixel Attention更加注重图像中物体的边缘和纹理以及浓密的模糊区域。
【深度学习】FFA-Net:北大&北航提出的图像去雾的新型网络(代码在Github上已开源)_第5张图片
Figure4显示了浓密模糊的图像像素区域、物体的边缘纹理处有更大的权重,所以PA机制使得FFA网络在高频浓密模糊的像素区域得到更多的关注
Figure5中第一幅图片为图像三个通道的像素值分布,第二幅图片为像素值对应的权重大小,所以不同的特征自适应地学习不同的权重

CA结构详解:
【深度学习】FFA-Net:北大&北航提出的图像去雾的新型网络(代码在Github上已开源)_第6张图片
PA结构详解:
【深度学习】FFA-Net:北大&北航提出的图像去雾的新型网络(代码在Github上已开源)_第7张图片

你可能感兴趣的:(深度学习)