论文阅读——ScanQA

ScanQA: 3D Question Answering for Spatial Scene Understanding

输入：点云P和问题Q，输出：答案A

点云p由三维坐标点组成。本文模型使用额外的点云特征：点云高度、颜色、法线和多视图图像特征，这些特征将 2D 外观特征投影到点云上。将上面这些特征结合，作为模型的3d特征。

ScanQA model网络结构：

模型包括3D &language encoder, 3D & language fusion, and object localization & QA layers

VoteNet的骨干网络是PointNet++，VoteNet的输入是3d特征，输出的是物体候选区域，然后使用非线性层候选物体的表示。

transformer encoder提供K和V

Fusion是一个带有注意力的两层MLP

最上面一层目标定位Object localization module模块是用于决定VoteNet输出的目标框属于该问题的最大似然，也就是，网络会生成很多框，但是只有一部分是和问题相关的，这个模块要把它选出来。使用CEloss。

Object classification module预测了什么物体是和问题有关系的。CEloss。

Answer classification module预测问题的答案。

LOSS：

VoteNet有个检测损失Ldet，还有最上面三个模块的定位损失Lloc，分类损失Lobj，答案损失Lans，四者相加。L = Lans + Lobj + Lloc + Ldet