KITTI数据集

一、参考资料

KITTI 官网
kitti数据集各个榜单介绍
自动驾驶KITTI数据集详解
KITTI数据集简介与使用
kitti数据集各个榜单介绍
KITTI数据集介绍
KITTI数据集简介（一） — 激光雷达数据
【KITTI】KITTI数据集简介（二） — 标注数据label_2
KITTI数据集简介（三） — 图像数据image
KITTI数据集简介（四） — 标定校准数据calib
数据集下载(kitti，coco)
kitti数据集label解析
详解KITTI数据集
KITTI数据集paper
https://sci-hub.mksa.top/10.1109/CVPR.2012.6248074
https://journals.sagepub.com/doi/full/10.1177/0278364913491297
http://www.cvlibs.net/publications/Geiger2012CVPR.pdf
http://www.cvlibs.net/publications/Geiger2013IJRR.pdf

二、Benchmark基准介绍

Our tasks of interest are: stereo, optical flow, visual odometry, 3D object detection and 3D tracking.

1. Stereo

Stereo Evaluation（立体评估）

基于图像的立体视觉和3维重建，从一个图像中恢复结构本质上是模糊的，一般是从不同角度的多张图片来恢复3维结构。

1.1 立体相机与深度相机

立体相机实际上是借助于深度信息，来还原物体的3D外观。

深度相机用来获取环境的深度(3D)信息，不仅仅是用来制作立体视图，还应用在深度检测，手势识别等。可以说深度相机比立体相机的用途更加广泛，是扩展了立体相机的应用范围之后的叫法

1.2 stereo与depth

stereo侧重于场景中的立体对象，而depth则侧重于场景中距离的远近。深度信息可能还需要依赖stereo信息，比如房子的立体效果，不然整个图像就只能得到平面的深度信息，而不是三维的深度信息

1.3 目前主流的测量深度的原理

1. 双目视觉(Triangulation)
2. 光飞行时间法(Time-of-flight)
3. 结构光(structured light)

2. Flow

Optical Flow Evaluation （光流评估）

光流是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。应用领域包括：运动检测，对象分割，接触时间信息，扩展计算焦点，亮度，运动补偿编码和立体视差测量。

2.1 常用光流法

参考资料
little-rocket：Optical Flow介绍与代码实现
光流Optical Flow介绍与OpenCV实现
林天威：CVPR 2018论文笔记 - 光流与行为识别的结合研究

1. 相位相关
2. 基于块的方法
3. 微分估计光流的方法
   • Lucas–Kanade method
   • Horn–Schunck method
   • Buxton–Buxton method
   • Black–Jepson method
   • General variational methods
4. 离散优化方法

3. Sceneflow

Scene Flow Evaluation（场景流评估）

场景流是场景的密集或半密集3D运动场，其相对于相机完全部分地移动。场景流的潜在应用很多。在机器人技术中，它可以用于需要预测周围物体运动的动态环境中的自主导航和/或操纵。此外，它可以补充和改进最先进的视觉测距和SLAM算法，这些算法通常假设在刚性或准刚性环境中工作。另一方面，它可以用于机器人或人机交互，以及虚拟和增强现实。

3.1 光流与场景流

光流是平面物体运动的二维信息，场景流则包括了空间中物体运动的三维信息。

4. Depth

Depth Evaluation（深度估计）

视觉深度在视觉SLAM和里程计方面应用广泛，深度信息的获取可以参考前面Stereo的方法。其中如果是基于视觉的odometry，那么就需要用到视觉depth evaluation技术。其中包括2项benchmark，深度补全和深度预测(The depth completion and depth prediction)。

5. odometry

Visual Odometry / SLAM Evaluation 2012 （视觉里程计/SLAM估计）

视觉里程计，需要用到depth evaluation技术。

5.1 常用odometry方法

基于视觉和基于Lidar的传感器方案，并且引入SLAM方法中的闭环检测。

1. Stereo: 使用左右（立体）图像的方法
2. Laser Points: 使用来自Velodyne激光雷达点云的方法
3. Loop Closure Detection: 一种检测循环闭包的SLAM方法
4. Additional training data: 使用其他数据源进行训练

6. object

Object Detection Evaluation（目标检测）

包括2D,3D和鸟瞰视角3种方式的benchmark，其中2D场景不仅要能正确标注2D的坐标，还要能够标注鸟瞰视图中的位置。

6.1 2D场景与3D场景

2D场景增加了除了汽车，行人，自行车的分类，还有目标检测与方向估计。

3D场景主要是激光雷达点云的标注。分类有汽车，行人，自行车。

7. tracking

Object Tracking Evaluation 2012（物体追踪）

3D物体追踪，主要是针对汽车和行人的目标追踪。由于没有单一的评估标准，没有对方法做排名。上面介绍的光流和场景流广泛应用在物体追踪上面。

8. Road

Road/Lane Detection Evaluation 2013（车道线识别）

车道线识别，车道线识别是无人驾驶很基础的功能，而且是ADAS中车道线保持等功能的前提，所以车道线的benchmark就至关重要了。

8.1 不同类别的道路场景

1. Uu - 城市无标记 (98/100)
2. Um - 城市标记 (95/96)
3. Umm - 城市多重标记车道 (96/94)
4. Urban - 上述三者的结合

9. Semantics

Semantic and Instance Segmentation Evaluation（场景分割）

语义和实例分割评估，语义分割对无人驾驶的处理很关键，比如人会根据语义处理，区分车道，周围的环境以及汽车，然后针对不同的场景做处理。如果没有语义处理，所有的像素将会同等对待，对处理和识别都会引入干扰。

三、KITTI数据集下载

方法一（暂不可用）

格物钛数据集 - KITTIRaw
补充说明：2022年10月1日，格物钛暂不支持KITTI数据集下载。

---

---

以下为历史记录
博主尝试过下载，速度快，很稳定。在复现monodepth2的过程中，发现有个文件格式错误，2011_09_30_drive_0028_sync.zip，导致无法解压，可选择其他方式下载出错的文件。

方法二

官网下载 KITTI 官网
需要先登录KITTI帐号，准备好edu结尾的教育邮箱注册KITTI帐号，然后登录

方法三

如果网络不稳定，直接在官网下载经常断线，可以选择该种方法下载。

1. KITTI官网找到下载链接，比如下载链接为：
https://s3.eu-central-1.amazonaws.com/avg-kitti/data_scene_flow.zip

2. 在Colab中用wget指令下载
!wget -c https://s3.eu-central-1.amazonaws.com/avg-kitti/data_scene_flow.zip
指令解释：
-c：表示支持断点续传

2.1 Colab使用教程，参考博客
[google colab教程](https://blog.csdn.net/m0_37605642/article/details/119797342)

3. 数据集下载成功
--2021-08-19 02:37:43--  https://s3.eu-central-1.amazonaws.com/avg-kitti/data_scene_flow.zip
Resolving s3.eu-central-1.amazonaws.com (s3.eu-central-1.amazonaws.com)... 52.219.47.203
Connecting to s3.eu-central-1.amazonaws.com (s3.eu-central-1.amazonaws.com)|52.219.47.203|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1681488619 (1.6G) [application/zip]
Saving to: ‘data_scene_flow.zip’

data_scene_flow.zip 100%[===================>]   1.57G  20.6MB/s    in 82s     

2021-08-19 02:39:06 (19.6 MB/s) - ‘data_scene_flow.zip’ saved [1681488619/1681488619]

4. 从Colab下载数据集到本地（网络有点慢...）

四、KITTI目录结构

E:\DATASETS\KITTI
|   
\---2011_09_26
    \---2011_09_26_drive_0001_sync
        +---image_00  # left_image左视图（灰度图）
        |   |   timestamps.txt
        |   |   
        |   \---data
        |           0000000000.png
        |           0000000001.png
        |           
        +---image_01  # right_image右视图（灰度图）
        |   |   timestamps.txt
        |   |   
        |   \---data
        |           0000000000.png
        |           0000000001.png
        |           
        +---image_02  # left_image左视图（彩色图）
        |   |   timestamps.txt
        |   |   
        |   \---data
        |           0000000000.png
        |           0000000001.png
        |           
        +---image_03  # right_image右视图（彩色图）
        |   |   timestamps.txt
        |   |   
        |   \---data
        |           0000000000.png
        |           0000000001.png
        |           
        +---oxts
        |   |   dataformat.txt
        |   |   timestamps.txt
        |   |   
        |   \---data
        |           0000000000.txt
        |           0000000001.txt
        |           
        \---velodyne_points
            |   timestamps.txt
            |   timestamps_end.txt
            |   timestamps_start.txt
            |   
            \---data
                    0000000000.bin
                    0000000001.bin