ros使用自动驾驶数据集KITTI【1】介绍与可视化

KITTI 网站介绍：
我们利用我们的自动驾驶平台 Annieway 开发新颖的具有挑战性的现实世界计算机视觉基准。我们感兴趣的任务是：立体、光流、视觉里程计、3D 对象检测和 3D 跟踪。为此，我们为一辆标准旅行车配备了两个高分辨率彩色和灰度摄像机。 Velodyne 激光扫描仪和 GPS 定位系统提供准确的地面实况。我们的数据集是通过在卡尔斯鲁厄中型城市、农村地区和高速公路上行驶而捕获的。每个图像最多可以看到 15 辆汽车和 30 名行人。除了以原始格式提供所有数据外，我们还为每个任务提取基准。对于我们的每个基准，我们还提供了一个评估指标和这个评估网站。初步实验表明，在已建立的基准（如 Middlebury）上排名靠前的方法在从实验室转移到现实世界时表现低于平均水平。我们的目标是通过向社区提供具有新困难的真实世界基准来减少这种偏见并补充现有基准。

网址：KITTI网站：http://www.cvlibs.net/datasets/kitti/index.php

起因

KITTI的起因可以参考"Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite"。他们认为自动驾驶当前最重要的一个挑战是没有一个强大的benchmark，现有的数据集都不够大，并且不完整或是实验室环境，所以很多算法在数据集上表现良好，但是在真实环境中却不行。KITTI的目标是提供大量的真实场景的数据集，用来更好的度量和测试算法的表现。

那么提供这样大规模并且是真实场景的数据集会遇到哪些挑战呢？

• 收集大量实时的数据。各种传感器每秒钟都会生产大量的数据，传感器之间的数据怎么时钟同步，数据是否保存的足够快，以及硬盘是否足够大。

• 以不同速率工作的各种传感器的校准。摄像头，激光雷达，GPS等传感器能够如何在同一个坐标系下，如果有多个雷达，雷达和雷达之间的坐标如何对齐。如果是摄像头，因为镜头是一个鱼眼，边缘会出现畸变，摄像头的如何校准？传感器校准的顺序如何？

• 最小化产生基础事实需要的监督数量。如何保证生产的数据就是基准，并且尽量减少人的干预？

• 为每个基准选择适当的序列和框架，以及为每个任务开发指标。如何确认标准？如何考察这些指标？

这部分涉及较多，主要是校准和benchmark设定指标部分比较复杂，可以直接参考论文获取答案。

Sensor Setup 传感器设置

此页面提供有关我们用于记录此数据集的记录平台和传感器设置的其他信息。我们的记录平台是大众帕萨特 B6，它已经修改了踏板（加速和刹车）和方向盘的执行器。数据是使用配备 RAID 系统、运行 Ubuntu Linux 和实时数据库的八核 i7 计算机记录的。我们使用以下传感器：
1 惯性导航系统（GPS/IMU）：OXTS RT 3003
1 激光扫描仪：Velodyne HDL-64E
2 个灰度相机，1.4 百万像素：Point Grey Flea 2 (FL2-14S3M-C)
2 台彩色相机，1.4 百万像素：Point Grey Flea 2 (FL2-14S3C-C)
4 个变焦镜头，4-8 毫米：爱特蒙特光学 NT59-917
激光扫描仪以每秒 10 帧的速度旋转，每个周期捕获大约 10 万个点。激光扫描仪的垂直分辨率为 64。摄像机安装在与地平面大致水平的位置。使用 libdc 的格式 7 模式将相机图像裁剪为 1382 x 512 像素的大小。校正后，图像变小了一些。相机由激光扫描仪（面向前方时）以每秒 10 帧的速度触发，快门时间动态调整（最大快门时间：2 毫秒）。我们相对于车辆的传感器设置如下图所示。请注意，校准文件和开发套件中提供了有关校准参数的更多信息（参见原始数据部分）。

Stereo Evaluation

Object Detection Evaluation

下载资料

从row data中下载资料。
此页面包含我们的原始数据记录，按类别排序（见上面的菜单）。到目前为止，我们只包含了序列，对于这些序列，我们要么有 3D 对象标签，要么出现在我们的里程计基准训练集中。该数据集包含以下信息，以 10 Hz 的频率捕获和同步：

原始（未同步+未校正）和处理（同步+校正）灰度立体序列（0.5 兆像素，以 png 格式存储）
原始（未同步+未校正）和处理（同步+校正）彩色立体序列（0.5 兆像素，以 png 格式存储）
3D Velodyne 点云（每帧 100k 点，存储为二进制浮点矩阵）
3D GPS/IMU 数据（位置、速度、加速度、元信息，存储为文本文件）
校准（相机、相机到 GPS/IMU、相机到 Velodyne，存储为文本文件）
3D 对象 tracklet 标签（汽车、卡车、电车、行人、骑自行车者，存储为 xml 文件）
这里，“unsynced+unrectified”是指图像失真且帧索引不对应的原始输入帧，而“synced+rectified”是指图像经过校正和未失真且数据帧编号对应的处理数据跨所有传感器流。对于这两种设置，都提供了带有时间戳的文件。大多数人只需要文件的“同步+修正”版本。
可在此处找到有关传感器、数据格式和校准的更多详细信息：

我们的 IJRR 数据文件的预印本
下载原始数据开发工具包 (1 MB)
下载原始数据集下载脚本 (1 MB)（感谢 Omid Hosseini 的分享！）
下载 velodyne 校准文件 (1 MB)（感谢 Sascha Wirges 的分享）
Mark Muth 为点云和轨迹序列编写了一个基于 QT 的可视化工具。
Yani Ioannou（多伦多大学）已将一些工具用于使用 PCL 处理 KITTI 原始数据
Christian Herdtweck (MPI Tuebingen) 编写了一个 Python 解析器来读取对象标签 XML 文件
Lee Clement 和他的团队（多伦多大学）编写了一些 Python 工具来加载和解析 KITTI 原始数据集和里程计数据集
Tomáš Krejčí 创建了一个简单的工具，用于将原始 kitti 数据集转换为 ROS 包文件：kitti2bag
Helen Oleynikova 创建了几个使用 ROS 处理 KITTI 原始数据集的工具：kitti_to_rosbag
Mennatullah Siam 创建了 KITTI MoSeg 数据集，其中包含用于移动物体检测的地面实况注释。
Hazem Rashed 将 KittiMoSeg 数据集扩展了 10 次，为移动物体检测提供了地面实况注释。该数据集包含 12919 张图像，可在项目网站上获取。
注意：我们无法对所有序列进行注释，只能提供那些通过第 3 次人工验证阶段的轨迹注释，即质量非常高的那些。对于可以使用 tracklets 的序列，您可以在下载类别中找到链接 [tracklets]。

我在使用kitti2bag工具产生ros包时，一直提示kitti2bag 未安装。

kitti2bag

command no found!

通过如下方法解决：

pip uninstall kitti2bag

查看目前kitti2bag安装位置，把kitti2bag拷贝到/usr/bin目录下：

sudo cp /home/ros/.local/bin/kitti2bag /usr/bin/

用kitti2bag命令把数据转换为ros包：

ros@ubuntu:~/Documents/ros-kitticlass$ kitti2bag -t 2011_09_26 -r 0005 raw_synced
Exporting static transformations
Exporting time dependent transformations
Exporting IMU
Exporting camera 0
100% (154 of 154) |#######################| Elapsed Time: 0:00:01 Time:  0:00:01
Exporting camera 1
100% (154 of 154) |#######################| Elapsed Time: 0:00:00 Time:  0:00:00
Exporting camera 2
100% (154 of 154) |#######################| Elapsed Time: 0:00:04 Time:  0:00:04
Exporting camera 3
100% (154 of 154) |#######################| Elapsed Time: 0:00:13 Time:  0:00:13
Exporting velodyne data
100% (154 of 154) |#######################| Elapsed Time: 0:00:55 Time:  0:00:55
## OVERVIEW ##
path:        kitti_2011_09_26_drive_0005_synced.bag
version:     2.0
duration:    15.8s
start:       Sep 26 2011 13:04:32.35 (1317013472.35)
end:         Sep 26 2011 13:04:48.13 (1317013488.13)
size:        834.0 MB
messages:    2156
compression: none [616/616 chunks]
types:       geometry_msgs/TwistStamped [98d34b0043a2093cf9d9345ab6eef12e]
             sensor_msgs/CameraInfo     [c9a58c1b0b154e0e6da7578cb991d214]
             sensor_msgs/Image          [060021388200f6f0f447d0fcd9c64743]
             sensor_msgs/Imu            [6a62c6daae103f4ff57a132d6f95cec2]
             sensor_msgs/NavSatFix      [2d3a8cd499b9b4a0249fb98fd05cfa48]
             sensor_msgs/PointCloud2    [1158d486dd51d683ce2f1be655c3c181]
             tf2_msgs/TFMessage         [94810edda583a504dfda3829e70d7eec]
topics:      /kitti/camera_color_left/camera_info    154 msgs    : sensor_msgs/CameraInfo    
             /kitti/camera_color_left/image_raw      154 msgs    : sensor_msgs/Image         
             /kitti/camera_color_right/camera_info   154 msgs    : sensor_msgs/CameraInfo    
             /kitti/camera_color_right/image_raw     154 msgs    : sensor_msgs/Image         
             /kitti/camera_gray_left/camera_info     154 msgs    : sensor_msgs/CameraInfo    
             /kitti/camera_gray_left/image_raw       154 msgs    : sensor_msgs/Image         
             /kitti/camera_gray_right/camera_info    154 msgs    : sensor_msgs/CameraInfo    
             /kitti/camera_gray_right/image_raw      154 msgs    : sensor_msgs/Image         
             /kitti/oxts/gps/fix                     154 msgs    : sensor_msgs/NavSatFix     
             /kitti/oxts/gps/vel                     154 msgs    : geometry_msgs/TwistStamped
             /kitti/oxts/imu                         154 msgs    : sensor_msgs/Imu           
             /kitti/velo/pointcloud                  154 msgs    : sensor_msgs/PointCloud2   
             /tf                                     154 msgs    : tf2_msgs/TFMessage        
             /tf_static                              154 msgs    : tf2_msgs/TFMessage

得到这个bag文件，给ros使用。

使用rqt_bag命令，把数据进行可视化。

rqt_bag kitti_2011_09_26_drive_0005_synced.bag

bag界面打开后，选择一个数据，然后右击，选择view->image，显示出图像

显示：

(未完待续)