论文阅读：Boosting Single-Frame 3D Object Detection by Simulating Multi-Frame Point Clouds

Teacher使用多帧，studen使用单帧蒸馏，主要的思路就是通过蒸馏设计中间域来减少稠密信息域与稀疏信息域之间的差异。

Multi-view dense object fusion

通过聚合从同一序列中的每一帧点云中随机采样的对象点来具体化每个单帧真实对象，以形成多视图密集对象。

Self-attention voxel distillation

通过聚合从同一序列中的每一帧点云中随机采样的对象点来具体化每个单帧真实对象，以形成多视图密集对象。
问题：传统一致性约束以进行一对一蒸馏方法忽略了由密集多帧对象和稀疏单帧对象之间的巨大信息差距引起的多帧和单帧体素特征之间的显着域差距，因此很难训练单帧体素来有效地模拟多帧体素。
在SSD最后一层稀疏卷积上通过attention机制设立中间域对student体素加权之后再计算与teacher的距离进行蒸馏。

Self-attention voxel distillation

利用设计的多尺度RPN提取不同尺度的BEV特征，分别提取低层空间特征和高层语义，以促进深层特征的一致性。

将BEV特征进行多尺度变换得到多尺度RPN，对其中的多尺度BEV特征分别进行蒸馏（经过MLP，只对位于groundtruth内的特征 ）

Adaptive Response Distillation

制定了自适应权重，以激活高置信度和准确回归的单帧响应。
计算出heatmap，选择高于阈值的heatmap置信度值计算自适应权重并蒸馏：


保持原始损失的累积总和不变，同时突出显示单帧 SSD 预测的高置信度响应。

EXPERIMENTS

Waymo测试集上的结果：

消融实验：

Attention消融实验（使用所有体素，前景体素，放大后的前景体素）：

自适应加权消融实验：