RFNet模型论文和代码研读

论文研读

论文的代码：https://github.com/AHupuJR/RFNet

论文动机

截止到2020年，很少有实时的基于RGBD的分割模型。本文提出一种基于RGB-D的实时分割模型，可用于自动驾驶场景。

模型的结构

在编码器部分，两个独立的分支分别提取RGB的特征和深度的特征，RGB分支为主分支，深度分支为下级分支。每个分支都采用的ResNet18为骨干网络。深度分支输出的特征会通过AFC模块融合到RGB分支。SPP模块聚合两个分支的融合特征并生成后具有多尺度信息的特征图。最后解码器部分用上采样模块恢复RGB分支跳过连接的特征图。

AFC模块：


使用SE块作为通道注意力方法。有两个分支，RGB分支的特征图输入为X，深度分支的特征图输入为Y。两个分支的融合先利用基于通道注意力机制的全局平均值池化然后加一个11的卷积层，11的卷积层可以挖掘通道之间的相关性。后面接sigmoid激活函数，最后与输入自身做外积。两个分支的结果相加得到最终的融合结果。

上采样模块：
包含三个简单的上采样模块。前两个上采样使用双线性插值，把低分辨率的特征图上采样到跳过连接的特征图的分辨率。最后一次上采样增加了卷积层和4次双线性插值，使得分辨率和输入时的一样。

模型代码(未完待续)