EF-Net一种适用于双流SOD的有效检测模型（Pattern Recognition）

点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

论文地址：在公众号「计算机视觉工坊」，后台回复「EF-Net」，即可直接下载。

简介

显著目标检测(SOD)在计算机视觉领域得到了广泛的关注。但面临低质量的深度图，现有模型的检测结果都不是很理想。为了解决这一问题，该文提出了一种新型多模态增强融合网络(EF-Net)，用于有效的RGB-D显性检测。具体来说，首先仅仅利用RGB图像提示映射模块来预测提示映射，编码突出对象的粗略信息。然后利用得到的提示图经过深度增强模块来增强深度图，从而抑制噪声并锐化对象边界。最后，该文构造了分层聚合模块，用于融合增强后的深度图与RGB图像中提取的特征，以精确地检测突出对象。该文提出的EFNet利用增强和融合框架进行显着性检测，充分利用了RGB图像和深度图中的信息，有效地解决了深度图的低质量问题，显著提高了显着性检测性能。在五个广泛使用的基准数据集上的广泛实验表明，该方法在五个关键评价指标方面优于12种最先进的RGB-D显着性检测方法。

主要贡献

1. 该文提出了一种新型深度增强和融合框架来解决深度地图的低质量问题，它利用RGB图像的颜色提示映射模块提供的先验知识，有效地提高了深度地图的质量。

2. 该文提出了一个有效的分层聚合模块，充分利用多模态数据用以融合从RGB图像和增强深度图中提取的特征。

3. 该文提出的EF-Net在五个广泛使用的基准数据集上的评价指标优于12种SOTA方法。通过进一步评价RGB-T数据表明，EF-Net是一般多模态显着性检测的有效解决方案。

与其他方法比较的可视化图片：

模型：

1）首先将RGB图像输入ResNet-50编码架构，得到四层编码特征，再利用一个1×1和两个3×3卷积层提取显着性特征{H_i⁰, i = 1, 2, 3, 4}和边缘特征{E_i⁰, i = 1, 2, 3, 4}，同时将特征通道数变为32通道。

2）将显着性特征{H_i⁰, i = 1, 2, 3, 4}和边缘特征{E_i⁰, i = 1, 2, 3, 4}输入CRUs模块，具体公式如下：

下载链接：

http://openaccess.thecvf.com/content_ICCV_2019/html/Wu_Stacked_Cross_Refinement_Network_for_Edge-Aware_Salient_Object_Detection_ICCV_2019_paper.html）

附图如下：

3）将特征H_i和E_i分别输入U-Net网络，即利用U-Net解码结构将特征H_i和E_i得进行一系列卷积、上采样和级联，以自顶向下的方式融合四个层得到初步的显著性预测图hint map S_h与边缘预测图edge map S_e。

4）将S_h 与深度图depth输入深度增强模块DEM，模块图如下：

得到增强的深度初始图，再输入ResNet-18进行训练，得到增强的深度图 {ED_i, i = 1, 2, 3, 4}。初始深度图与增强后的深度图对比如下，可以看到质量明显提升。

5）将增强的深度图 {ED_i, i = 1, 2, 3, 4}与步骤2）得到的显著特征图{H_i, i = 1, 2, 3, 4}输入跨模态融合模块，模块图如下：

公式为：

在特征聚合之后，再次使用U-Net来组合和细化{DH_i，i=1、2、3、4}来预测最终的显着性映射S_f。

损失函数：

该文利用多监督提升模型的性能，损失函数为交叉熵损失。将深度监督应用于初步的显著性预测图 S_h 与边缘预测图 S_e，用GT图G_s监督S_h，用GT取梯度得到的边界图G_e监督S_e，用GT图G_s监督最终的显着性映射S_f。公式如下：

实验结果

EF-Net和其他8种最先进的方法在四个基准数据集上的F-测度和精度-回归曲线：

定量评价结果：

除了在RGB-D数据集上训练测试网络之外，该文还在RGB-T上训练测试网络，结果如下：

总结

该文提出了一种有效的RGB-D显性检测方法EF-Net，它首先利用从高质量RGB图像中学习到的先验知识增强深度图，然后在增强和融合框架中融合RGB和增强的深度特征。EF-Net由三个主要模块组成，包括用于生成提示图的CHMM、用于增强带有颜色提示图的深度图的DEM和用于聚合多模态特征的LAM。该方法有效地解决了深度图的低质量问题，并解决了与多模态融合相关的挑战，这最终导致了有希望的显着性检测性能。在四个流行的基准上的广泛实验表明，EFNet明显优于现有的SOTA方法。此外，在两个RGB-T数据集上进行了额外的实验，以探索EF-Net进一步扩展到RGB-T显性检测。实验结果表明，EF-Net能够准确地从RGB-T数据中检测出突出物体，这意味着EF-Net是一种有效的双流显著物体检测解决方案。

备注：作者系我们「3D视觉从入门到精通」特邀嘉宾：一个超干货的3D视觉学习社区

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「计算机视觉工坊」公众号后台回复：深度学习，即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

下载2

在「计算机视觉工坊」公众号后台回复：计算机视觉，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

下载3

在「计算机视觉工坊」公众号后台回复：SLAM，即可下载独家SLAM相关视频课程，包含视觉SLAM、激光SLAM精品课程。

重磅！计算机视觉工坊-学习交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有ORB-SLAM系列源码学习、3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~