点云数据常用的数据增强方案

Shape-Aware Data Augmentation（SE-SSD）

目标中的点云在现实中由于遮挡、距离变化和物体形状等因素差异很大。因此，本文设计了形状感知数据增强方案来模仿在数据增强时点云如何受到这些因素的影响。

形状感知数据增强模块是即插即用模块。首先，对于点云中的每个目标，找到它的真值边界框中心，并将中心与顶点连接起来，形成锥体，将目标点分成六个子集。注意到 LiDAR 点主要分布在目标表面，划分就像目标分解，数据增强方案通过操作分解部件，来有效地增强每个目标的点云。

具体而言，使用随机概率p 1 ， p 2 ， p 3 p1，p2，p3p1，p2，p3执行3个操作：

• 在随机选择的金字塔中随机删掉所有点（如下图左上所示蓝色点），模拟物体被部分遮挡，以帮助网络从剩余的点推断出完整的形状。
• 随机交换，在当前场景中随机选择一个输入目标，并将点集（绿色）交换到另一个输入目标中的点集（黄色），从而利用目标间的表面相似性来增加目标样本的多样性。

• 使用最远点采样算法，在随机选择的金字塔中随机采样子样本点，模拟由于LiDAR距离变化引起的点的稀疏变化（下图左下所示）。

  
  
  image.png

Cross modality 3d object detection

pseudo-LiDAR Fusion
由于点云的稀疏性，我们需要检测的一些对象可能只包含非常少量的点，因此我们希望通过伪激光雷达点云补偿这种稀疏性来提高检测性能。通过双目图像，我们可以通过立体匹配预测逐像素视差，从而可以通过逆投影获得每个像素对应的伪激光雷达点。例如，图像中大小为 10x10px 的高度遮挡或远处物体在 3D 场景中仅拥有 10 个点，但我们可以通过预测像素级深度来产生 100 个伪点。
由于我们希望专注于需要检测到的目标，因此我们需要删除其他不必要的点以减少伪激光乐节点中的噪声。在培训阶段，我们只保险融合GT 2D盒内的伪点云。在推理阶段，我们代替诉诸于预测的2D盒内的混合伪激光乐节点。由于深度估计的误差，重新生成的的伪点云是不准确的，包括长尾和局部未对准。

• 长尾部效应主要是由于对象边缘的深度预测不准确，我们设计了点云统计过滤器过滤掉所有异常值。
• 局部未对准效果是由整体深度预测中的误差引起的。虽然预测点云的形状与原始对象相似，但在整体深度上会有一定的前进或向后散，因此我们使用GT点云来纠正伪点云。对于每个预测的2D边界框，我们提取相应的GT点云PG和伪点云PP，然后从每个伪点PPI计算平均距离DI到最接近的K GT点。然后，我们通过距离将点云作为整体移动，以最小化所有距离σI的总和实现深度校正。

part-aware data augmentation

我们提出了一种部分感知分区方法，该方法将对象划分为根据帧内零件局部的分区，以充分利用3D标签的结构信息。在[21]中使用的术语“对象部分位置”是指相对于相应边界框的3D前景点的相对位置，并探索对象部分位置提高性能。部分感知分区必须分隔对象的特征子部分，并且它能够比现有方法更多样化和高效的增强。因为每个类的特征部件的位置是不同的，汽车，行人和骑自行车者分别分别分为8,4和4个分区（图2，第一列）。当使用基于分区的增强时，而不是将相同的增强应用于整个对象，可以将不同的增强应用于每个对象子部分。

• Dropout Partition
• cutmix

Quantifying Data Augmentation for LiDAR based 3D Object Detection

混合
全局旋转
全局镜像
全局放缩
全局平移
局部旋转
局部镜像
局部放缩
局部平移
过采样意味着我们正在尝试将其他场景从其他场景阐述到当前场景中。为此，一个人必须迭代所有注释并构建一个注释数据库及其对应点。这种“诀窍”也旨在平衡前面描述的“背景”与“背景”不平衡。在培训期间，只有一个人必须检查数据库的另外采样的注释是否与最初存在于当前场景中的任何一个。在我们的实验中，我们试图过以超过5,10,15,20和25个注释。如果存在碰撞，则丢弃这些注释，并且只保留不碰撞的注释。这意味着例如在我们尝试最多5辆汽车的设置中，最多15个注释是另外采样的

About the Ambiguity of Data Augmentation for 3D Object Detection in Autonomous Driving

将其他对象添加到当前场景。这些对象，即边界框及其内部点，先前从用于培训的数据集的部分收集在数据库中。对于每个点，云对象是从数据库中随机绘制的，使得当前场景存在15个对象。在将对象插入到当前云中之前，执行对AL就绪现有对象的碰撞测试。如果新对象与点云中已存在的对象碰撞，则它会被禁用。因此，最多15 - | B |对象添加到一个场景。此外，筛选数据库，使得只有包含超过5分的对象

Mix3D: Out-of-Context Data Augmentation for 3D Scenes

整个Mix3D的数据增强流程很简单（如右边灰色方框所示），只需要两步：

先对单个的场景进行普通的数据增强，比如旋转，增加亮度等
然后将两个场景的点云和标签分别连接，得到一个‘混合’的场景
之后就是正常的分割流程：运用已有的3d模型，如MinkowskiNet等进行预测，再使用cross entropy作损失模型。

PointAugmenting: Cross-Modal Augmentation for 3D Object Detection

Augmentation for LiDAR Points，对点云数据增广。点云数据增广的难点在哪儿呢？作者认为主要是遮挡问题。也就是说如果随机添加点云数据，可能其在2D图像上是被遮挡的，也因此会导致mismatching problem。做法也很直接，其实就是去除遮挡的点就可以了。去除的原则总结起来只有一条，就是"留近去远"，保留近处points，去除远处occluded points。

second

GT-Paste就是将其它场景的gt添加到当前训练的场景中。

GT-Paste pastes virtual objects in the forms of ground-truth boxes and LiDAR points from other scenes to the training scenes.