CVPR 2019之语义分割：Geometry-Aware Distillation for Indoor Semantic Segmentation

Geometry-Aware Distillation for Indoor Semantic Segmentation

Jianbo Jiao, Yunchao We, Zequn Jie, Honghui Shi, Rynson Lau, Thomas S. Huang

简述：
本文提出通过几何感知嵌入来提取depth信息的方式以及多个多级跳变结构融合的方式进行语义分割，并通过将单个任务预测分离为语义分割和集合嵌入学习两种联合任务，以及结合所提供的信息传播和特征融合体系，得到了截止当前所能达到最好的语义分割效果的网络结构。

问题or相关工作：
数据集为RGB-D（可有大幕或双目相机获取）图像，深度就RGB来说更难以获取且传输复杂，是否可以仅有RGB输入且在最终训练结果呈现深度特征？本文提出双通道来分别对图像及深度的提取，在输出前实现post-fusion（后融合），首先不把depth信息作为输入，而是提取深度嵌入与RGB输入一起指导语义分割，并提出增量跨尺度融合方案，用以完善边缘信息，最后在预测RGB代表的标签，同时考虑3D信息。

创新点：
1.RGB Semantic Segmentation
A.为了扩大感受野，提出洞卷积
洞卷积
B.为了克服低分辨率对FCN的限制，提出了反卷积来上采样特征层
反卷积
C. 利用多层或多尺度特征来预测最后结果
2.RGB-D Semantic Segmentation
A.将depth当成RGB额外的通道输入模型
B.同时输入RGB和D（深度）数据，分别提取特征预测，最后通过GAP几何模块融合

GAP模型结构
C.多层多级跳变感知融合（SPF），通过 SPF块，将骨干网的多级特征图与提取的输出进行结合，进一步细化提取的输出；在每个层次SPF施加语义监督信息。最后使用SPF底块的评分图进行语义标签预测。

SPF模型结构

模型：

网络结构
双通道结构：一条提取RGB图像信息，一条提取Depth map，部分编码器权值共享，解码器特征及融合。
GAP：集合感知器，用来提取语义特征
跳链接金字塔融合：由多层SPF组成多级特征图，进一步加强图像细节特征
Fusion(融合)：将特征测提取到的语义特征与多级特征图融合得到最终的segmentation图像

成果：
A.不同数据集的测试成果：

B.消融实验：

由上到下一次是：
Sem-only:仅为RGB语义分割
Sem+Ls：RGB语义分割+新损失函数
Sem+Ls+HHA：RGB语义分割+RGB语义分割+通过HHA编码的depth map
Sem+Ls+DepEm：RGB语义分割+RGB语义分割+深度感知编码
Sem+Ls+DepEm+FeatProp:
RGB语义分割+RGB语义分割+RGB语义分割+RGB语义分割+与RGB-D融合
Sem+Ls+DepEm+FeatProp+VanConv:
RGB语义分割+RGB语义分割+RGB语义分割+RGB语义分割+与RGB-D融合+普通卷积
Sem+Ls+DepEm+FeatProp+GAP:
RGB语义分割+RGB语义分割+RGB语义分割+RGB语义分割+与RGB-D融合+GAP几何感知模块
Sem+Ls+DepEm+FeatProp+GAP+SPF:
RGB语义分割+RGB语义分割+RGB语义分割+RGB语义分割+与RGB-D融合+SPF跳连接金字塔融合
C.在数据集中不同深度占比：