KITTI如何submit自己的模型效果

说明

该文将中的涉及到的代码是博主自己的源码中的东西，不供参考，但是上传的格式是争取的。

背景

KITTI在val上是没有label的需要按照官方的格式上传数据。

Submission instructions: For the object detection and orientation estimation as well as 3D object detection and bird’s eye view benchmark, all results must be provided in the root directory of a zip file using the format described in the readme.txt (one line per detection) and the file name convention: 000000.txt, …, 007517.txt. To avoid the 3D detection benchmark, either set the 3D bounding box dimensions (height, width, length) to zero or set the 3D translation to (-1000, -1000, -1000). To avoid the 3D detection benchmark and evaluate only 2D detection and bird’s eye view detection, set the 3D bounding box height to 0. For the 3D object detection and the bird’s eye view benchmark 2D bounding boxes are always required.

谷歌一下：

提交说明：对于物体检测和方向估计以及3D物体检测和鸟瞰基准，必须使用readme.txt中描述的格式在zip文件的根目录中提供所有结果（每次检测一行） 和文件名约定：000000.txt，…，007517.txt。 为了避免使用3D检测基准，请将3D边界框尺寸（高度，宽度，长度）设置为零，或将3D平移设置为（-1000，-1000，-1000）。 为了避免使用3D检测基准，并且仅评估2D检测和鸟瞰检测，请将3D边界框高度设置为0。对于3D对象检测和鸟瞰基准，始终需要2D边界框。

说明

• 实验的val和train
  在实验时，有四个文件,分别含义如下：

（1）trainval----训练数据集的总和数据
（2）val----训练数据集中用来测试的数据
（3）train----训练数据集中训练的数据
（4）test-----------------官方的测试数据

16个字段含义：

1. 其中第1列truck 表示图中出现了卡车（一共有’Car’, ‘Van’, ‘Truck’,‘Pedestrian’, ‘Person_sitting’, ‘Cyclist’, ‘Tram’,‘Misc’ or 'DontCare’这些类别，Don’t care 是没有3D标注的，原因是雷达扫不了那么远，即使可以视觉检测出来）
2. 第2列0.0表示其是否被截断的程度为0。（如果车在图片边缘，那么就有可能发生部分被截断的情况。用0-1 表示被截断的程度。）
3. 第3列0表示没有被遮挡。（0表示完全可见，1表示部分遮挡，2表示大部分被遮挡，3表示未知。）
4. 第4列 -1.57 表示卡车中心与相机中心构成的矢量与在bird view下的夹角为-1.57，实际上就是说明改开叉在-90，即正前方。这个信息反映目标物体中心在bird view相对方向信息。
5. 第5-8列的599.41 156.40 629.75 189.25是目标的2D bounding box 像素位置，形式为xyxy，前两个值为bounding box左上点的x，y位置，后两个点为右下角的x,y位置。
6. 第9-11列 2.85 2.63 12.34 表示该车的高度，宽度，和长度，单位为米。（H,W,L）
7. 第12-14列 0.47 1.49 69.44 表示该车的3D中心在相机坐标下的xyz坐标。
8. 第15列 -1.56 表示车体朝向，绕相机坐标系y轴的弧度值。注意和第4列区别开来，第四列不在乎车体朝向，而是车体中心与相机中心所构成矢量在与相机坐标系z轴的夹角（其实这里笔者有点疑虑，如果车体中心位置已知，车体朝向是不知道的，但是第4列的alpha是可以算出来的，那么其实第4列的数据是冗余的？）
9. 第十六列，预测的朝向

整体流程

第一，cal_per运行，设置CONVERT_DETETIONTO_ANNOS=True
第二，然后生成的zip在根目录下，不能包含其他东西，
注意：一定要包含16个字段，不需要的用-1填充

结果：

Benchmark	Easy	Moderate	Hard
Car (Detection)	93.86 %	90.50 %	85.17 %
Car (Orientation)	0.63 %	1.51 %	2.03 %
Car (3D Detection)	84.00 %	73.32 %	67.82 %
Car (Bird's Eye View)	90.24 %	86.16 %	78.86 %
Pedestrian (Detection)	60.26 %	48.73 %	45.05 %
Pedestrian (Orientation)	6.41 %	5.39 %	5.14 %
Pedestrian (3D Detection)	43.04 %	33.89 %	31.46 %
Pedestrian (Bird's Eye View)	47.59 %	38.77 %	35.50 %
Cyclist (Detection)	85.05 %	69.52 %	63.17 %
Cyclist (Orientation)	0.62 %	0.97 %	0.89 %
Cyclist (3D Detection)	72.99 %	55.36 %	49.36 %
Cyclist (Bird's Eye View)	77.57 %	60.16 %	54.01 %

排名：
car: