nuScenes的使用(一)——简介和下载

文章目录

  • 一、简介
    • 一个小提醒
  • 二、数据集下载及排布方式
    • 1.数据集下载
      • (1)NuScenes
        • Full dataset (v1.0)
          • A. 下载
          • B. 排布
        • Map expansion
        • CAN bus expansion
        • nuScenes-lidarseg
        • nuScenes-panoptic
      • (2)nuImages
      • (3)数据集完整性检查

一、简介

我第一个接触的数据集,不用挂梯子也可以直接上,国内用亚洲线下载数据集也非常快(科学上网下kitti真的是一种折磨)。nuscenes里面包含了RGB图片、激光雷达点云和毫米波雷达的数据,具体介绍的话可以看官网:nuScenes官网。

一个小提醒

特别注意:使用想要读取数据请一定按照官网对应的Tutorials里给的方式操作,即用token访问对应的传感器数据,不要直接读txt里的,否则无法读到你想要的!!
tutorial有两种获取方式:

  • 第一种是来自官网对应界面:
    nuScenes的使用(一)——简介和下载_第1张图片
  • 另一种是见nuscenes-devkit/python-sdk/tutorials/下的.ipynb文件。开发者工具包的Github有,可直接找。

二、数据集下载及排布方式

1.数据集下载

先放一个下载链接:nuscenes下载。要先登录才能下载,没有账号直接注册。
nuScenes的使用(一)——简介和下载_第2张图片
nuscenes官网一共放出了很多数据集,有:

(1)NuScenes

组合拳,传感器含6 个摄像头、1 个激光雷达、5 个雷达、GPS、IMU,里面有RGB图,radar/LiDAR点云图,标注(3D),map等等。数据集用数据库的方式管理,靠token查询对应数据,具体依赖关系看官网给的图:
nuScenes的使用(一)——简介和下载_第3张图片
想要得到对应数据最快的办法就是用nuscenes-devkit,在调用API的时候对应这张图用有奇效。

Full dataset (v1.0)

完整的数据集,看命名似乎以后还会继续更新的样子。

A. 下载

该数据集包含:

  • Mini:缩减过的数据集,里面只有10个scenes,不可分传感器下载。
  • Trainval:完整的数据集,被分成了10份,一共有850个scenes(700个训练的,100个检验的)。总共差不多有300多GB的样子,可分传感器下载

nuScenes的使用(一)——简介和下载_第4张图片

  • Test:150个scene的无标注样本,可分传感器下载
    注意:Trainval 和 Test 要单独下载metadata,Mini 不用(已经包含在压缩包内)

具体每一个里包含哪几个scenes,参见nuscenes-devkit/python-sdk/nuscenes/utils/splits.py或根据tutorial调用工具包输出查看

B. 排布

解压到/data/sets/nuscenes,对于多个part的注意不要将原本的覆盖。解压后的文件结构(来自nuscenes-devkit):

/data/sets/nuscenes
    samples	-	Sensor data for keyframes.
    sweeps	-	Sensor data for intermediate frames.
    maps	-	Folder for all map files: rasterized .png images and vectorized .json files.
    v1.0-*	-	JSON tables that include all the meta data and annotations. Each split (trainval, test, mini) is provided in a separate folder.

Map expansion

针对地图的,根据需要照常下载即可

CAN bus expansion

汽车的一些底层数据,比如轮速、油门什么的,根据需要照常下载即可

nuScenes-lidarseg

针对LiDAR的,根据需要照常下载即可

nuScenes-panoptic

nuScenes + nuScenes-lidarseg,用来做panoptic任务(不太了解),根据需要照常下载即可

以上所有数据集下载连接背后都有md5码可供验证文件完整性。

(2)nuImages

纯图片数据集,2D标注,但是样本量比nuscenes大。依赖关系图如下:
nuScenes的使用(一)——简介和下载_第5张图片数据集只分了mini和all,all可分传感器下载。按需要正常下载即可。

(3)数据集完整性检查

如图,每个数据集都提供了md5码验证完整性。
在这里插入图片描述
在终端运行以下命令,能得到一串数字,把这串数字和官网提供的对应包的md5码对比,相同就代表包是完整的。

% ubuntu下:
md5sum [选项] 文件
% windows下(cmd内):
certutil -hashfile 文件名的绝对地址 MD5

你可能感兴趣的:(人工智能,深度学习)