【文章阅读】 PI-RCNN

Brief

一篇AAAI2020的工作，目前KITTI官网的效果是排在第31名。（19年11月16日）

不得不说就19年而言，实验效果并不能说是非常的出重，但是从侧面说明该方法的新颖程度应该是有的。
其次这是浙大和阿里合作的一篇文章，通讯是Xiaofei He也表明了牛组的能力。

overview:

Abstruct

• 该方法是一个二维语义分割和三维Lidar检测fusion的方法，作者的主要创新点在把提出了一种二维语义分割效果在3D点上结合的方法。
• 该方法的bsaeline是fast-pointrcnn
• 该方法作者也表达了能做到sota的方法，可能在某一个时间段在某一个指标上是的。

Introduction

• 自动驾驶的挑战。作者提出了两点，如下

（1）可能在3D结构中看上去是一个结构的车，但是实际上并不是
（2）小

• 作者提出以前的二维和3Dfusion的问题在于：

（1）对2D语义分割网络的依赖很大
（2） BEV FUSion的不准确性（需要压缩到二维，就会丢失信息）

• 作者提出了基于点的Fusion的方法Point-based Attentive ContinuousConvolution Fusion module

（1）作者说2D最具有意义的信息就是mask，因此那拿来用了
（2）同时，3D对象没有交叠的问题，语义分割出来的效果就应该是对应的物体

PI-RCNN

（1）分别对2维度图像和3D做对应的语义分割和proposals提取
（2）通过PACF模型融合二者特征（最核心）
（3）预测最后的结果

可以看得出来该方法是一个two-stage的方法，其核心就在于基于点的把二维信息和3D点信息的结合。

Point-based Attentive ContFuse Module

• 以前的fusion方法

（1）以前的fusion的方法是降维到2维上，然后结合在一起，这样的方法会出现的问题是会丢失一部分的信息。因此作者的方法是采用点的方式聚合。

• 作者的fusion的方法

这里结合的核心应该在于retrieve，作者没有提到是如何做到的，猜测应该是通过对应到mask上的信息。

后续就不继续介绍了，大概看了一下核心创新点也就是在点上结合了二维语义信息。