手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程

文章目录

    • 准备工作✨✨✨
    • 数据读取✨✨✨
      • 导入相关库并加载数据集
      • lidarseg和panoptic数据集的点统计
      • panoptic数据集的instance统计
      • 获取lidarseg和panoptic的sample token的统计信息⭐⭐⭐
      • 渲染lidarseg标签⭐⭐⭐
      • 渲染panoptic标签⭐⭐⭐
      • 在图像中渲染lidarseg和panoptic 标签⭐⭐⭐
      • 渲染sample(例如lidar、radar and all camera)⭐⭐⭐
      • 使用lidarseg/panoptic标签为给定的相机传感器渲染场景
      • 渲染场景的所有cameras与lidarseg/panoptic标签
      • 可视化激光雷达分割预测
      • 可视化激光雷达全景预测
    • 总结

  在之前的文章中,已经介绍了Nuscenes数据集的基本使用——包括数据集的简介、下载、数据读取等等,还不清楚的可以点击链接跳转学习本节将对Nuscenes的扩展包lidarseg 和 panoptic进行讲解,lidarseg和panoptic在教程中有很多功能是类似的,所以我们把它们放在一个教程中。当然你也可以自己选择lidarseg或panoptic数据集,即针对特定的任务使用某个数据集。下面就让我们一起来学习,一起真正的玩转Nuscenes数据集叭

 
 

准备工作✨✨✨

​  在上一节中,我们已经下载了mini数据集,这里依旧可以用到。但不同的是,这节我们还会下载其他的数据(lidarseg 和 panoptic),我们需要让这些数据集存储在特定位置,即让不同数据集之前有一定的文件关系,以便后面成功读取✅✅✅

  再次强调,本次实验我们将用到三个数据集,分别是v1.0_mini,lidarseg 和 panoptic。**【注意:v1.0_mini在上节我们已经下载,lidarseg 和 panoptic我们仍然使用其mini版本】**下面先来介绍如何下载lidarseg 和 panoptic数据集,方法很简单,我们去官网直接点击下载即可,下载示意图如下:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第1张图片

​   为了给大家带来方便,这里也可以在浏览器搜索框输入下面网址直接下载两个数据集:

https://www.nuscenes.org/data/nuScenes-lidarseg-mini-v1.0.tar.bz2  #下载lidarseg-mini数据集
https://www.nuscenes.org/data/nuScenes-panoptic-v1.0-mini.tar.gz   #下载panoptic数据集 

​   上文提到,我们应将3个数据集提取到规定的特殊位置,即将刚刚下载压缩文件解压到/data/sets/nuscenes中,你的文件夹结构应该是这样的:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第2张图片

​  看到这个结构,可能大家还有些许疑惑,这里贴出我文件夹的路径相信大家就一目了然了。【注意:这里还是要提醒一下大家,在下图中的v1.0-mini文件夹中,包括各种.josn格式的文件,其中包括lidarseg.json、panoptic.json、category.json三个文件,这三个文件都是从lidarseg和panoptic数据集中复制过来的】

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第3张图片

 
 

数据读取✨✨✨

  上文已经下载好了数据集,且文件夹路径配置妥当,现在就可以大展身手,让我们一起来玩转Nuscenes叭⚽⚽⚽
 

导入相关库并加载数据集

  这里的dataroot为数据集存放位置【这里我使用的是相对路径,你也可以使用绝对路径】,运行成功后应出现如下的信息:

%matplotlib inline
from nuscenes import NuScenes
nusc = NuScenes(version='v1.0-mini', dataroot='data\\sets\\nuscenes', verbose=True)

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第4张图片

​  可以从结果中看到,我们已经加载了nuscenes-lidarseg和nuscenes-panoptic,这里和上一节加载数据集结果的不同之处就在这里。

 

lidarseg和panoptic数据集的点统计

  • lidarseg

​   让我们通过查看lidarseg数据集中有哪些类以及属于每个类的点数来快速了解一下lidarseg数据集。类将根据点的数量按升序排序(因为下面的sort_by='count');你也可以通过设置sort_by='name'sort_by='index'分别对类名或类索引进行排序。

# nuscenes-lidarseg
nusc.list_lidarseg_categories(sort_by='count')

输出结果:手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第5张图片

​   使用list_lidarseg_categories,您可以通过查看最左边的列来获得每个类名所属的索引。你也可以使用lidarseg_idx2name_mapping来获取索引所对应的类名。

nusc.lidarseg_idx2name_mapping

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第6张图片

  相反,你也可以使用lidarseg_name2idx_mapping来从类名属性中获得索引。

nusc.lidarseg_name2idx_mapping

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第7张图片

  • panoptic

  对于nuScenes-panoptic,它与nuScenes-lidarseg共享相同的成员变量lidarseg_idx2name_mappinglidarseg_names2idx_mapping。类似地,您可以从nuScenes-panoptic数据集检查每个语义类别的点数。唯一要做的就是添加gt_from='panoptic'参数。默认情况下,gt_from = ' lidarseg '

# nuscenes-panoptic
nusc.list_lidarseg_categories(sort_by='count', gt_from='panoptic')

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第8张图片

  您可能已经注意到某些类别的点数在lidarseg和panoptic数据集之间略有不同。原因是实例之间的重叠点在nuScenes-panoptic中被设置为noise(类别0),你可以看到noise类别的点数增加了,而总点数保持不变。

 
 

panoptic数据集的instance统计

  实例统计信息是专属于全景数据集的。为此,我们提供了list_panoptic_instances()函数。你可以将sort_by设置为[‘count’, ‘index’, ‘name’]之一。该函数将计算每帧的实例数,实例总数(唯一的对象ID)和实例状态(一个实例可能有多个状态)。它还计算每个类别的统计数据,包括一个实例跨越的帧数的平均值和标准偏差,以及每个实例的点数的平均值和标准偏差。

nusc.list_panoptic_instances(sort_by='count')

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第9张图片

 
 

获取lidarseg和panoptic的sample token的统计信息⭐⭐⭐

  首先,让我们获取一个sample。

my_sample = nusc.sample[5]

  之后使用get_sample_lidarseg_stats来获取lidarseg的样本统计信息。通过执行sort_by=‘count’,类和它们各自的频率计数将按升序打印;你也可以在这里执行sort_by='name'sort_by='index'

# nuscenes-lidarseg
nusc.get_sample_lidarseg_stats(my_sample['token'], sort_by='count')

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第10张图片

  类似地,通过添加gt_from='panoptic',我们可以使用相同的函数来使用panoptic数据集获得类别频率计数。正如在list_lidarseg_categories()中提到的,点计数可能与lidarseg稍有不同,这是因为在nuscens -panoptic中,多个实例的重叠点被设置为noise。

# nuscenes-panoptic
nusc.get_sample_lidarseg_stats(my_sample['token'], sort_by='count', gt_from='panoptic')

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第11张图片

 
 

渲染lidarseg标签⭐⭐⭐

​  在最初的nuScenes devkit中,即我们上一节所介绍的数据集中,您可以将一个sample_data_token传递到render_sample_data中,以呈现点云的鸟瞰图。这些点会根据与自我车的距离被着色。现在有了扩展的nuScenes devkit,您所需要做的就是设置show_lidarseg=True来显示pointcloud的类标签。【这里你也可以设置with_anns = Ture,看看和with_anns=False的区别】

sample_data_token = my_sample['data']['LIDAR_TOP']
nusc.render_sample_data(sample_data_token,
                        with_anns=False,
                        show_lidarseg=True)

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第12张图片

  但如果你只想专注于特定的类别呢?考虑到前面打印的点云统计信息,假设您只对卡车和汽车感兴趣。你可以从统计数据中看到属于这些类的类索引【汽车的索引为17,卡车的索引为23】,然后将这些索引的数组传递到filter_lidarseg_labels中,如下所示:

nusc.render_sample_data(sample_data_token,
                        with_anns=False,
                        show_lidarseg=True,
                        filter_lidarseg_labels=[17, 23])

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第13张图片

  如上图所示,现在只有属于卡车和拖车的点云中的点被过滤出来,以满足您的观看需求。此外,还可以使用show_lidarseg_legend显示一个图例,该图例指示每个类的颜色。

nusc.render_sample_data(sample_data_token,
                        with_anns=False,
                        show_lidarseg=True,
                        show_lidarseg_legend=True)

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第14张图片
 
 

渲染panoptic标签⭐⭐⭐

  与lidarseg类似,也使用相同的函数来呈现panoptic标签(全景标签)。参数的区别是show_panoptic=True。默认情况下,show_lidarseg和show_panoptic都被设置为False。如果两者都设置为True,即show_lidarseg=True, show_panoptic=True, lidarseg将会优先渲染。

sample_data_token = my_sample['data']['LIDAR_TOP']
nusc.render_sample_data(sample_data_token,
                        with_anns=False,
                        show_lidarseg=False,
                        show_panoptic=True)

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第15张图片

  你可以看到同一类别的不同的车辆实例,会显示不同的颜色。类似地,您可以使用filter_lidarseg_labelsshow_lidarseg_legend=True来显示特定事物和物品类别的全景标签,以及类别图例。注意这两个参数在lidarseg和panoptic数据集之间也是共享的。

# show trucks and car
nusc.render_sample_data(sample_data_token,
                        with_anns=False,
                        show_panoptic=True,
                        filter_lidarseg_labels=[17, 23])

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第16张图片

# show stuff category legends
nusc.render_sample_data(sample_data_token,
                        with_anns=False,
                        show_lidarseg=False,
                        show_lidarseg_legend=True,
                        show_panoptic=True)

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第17张图片
 
 

在图像中渲染lidarseg和panoptic 标签⭐⭐⭐

  如果你想要将点云叠加到相机对应的图像中,你可以像使用原始nuScenes devkit一样使用render_pointcloud_in_image,但是要设置show_lidarseg=True(记住要设置render_intensity=False)。与render_sample_data类似,您可以使用filter_lidarseg_labels过滤查看特定的类。您可以使用show_lidarseg_legend在渲染中显示一个图例。

# nuscenes-lidarseg
nusc.render_pointcloud_in_image(my_sample['token'],
                                pointsensor_channel='LIDAR_TOP',
                                camera_channel='CAM_FRONT',
                                render_intensity=False,
                                show_lidarseg=True,
                                filter_lidarseg_labels=[17, 23, 24],
                                show_lidarseg_legend=True)

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第18张图片

  同样,这个函数支持show_panoptic=True模式,将显示全景标签而不是语义标签。只显示物品类别的图例。【对语义标签和全景标签不清楚的戳传送门了解详情】

# nuscenes-panoptic
nusc.render_pointcloud_in_image(my_sample['token'],
                                pointsensor_channel='LIDAR_TOP',
                                camera_channel='CAM_FRONT',
                                render_intensity=False,
                                show_lidarseg=False,
                                filter_lidarseg_labels=[17, 23, 24],
                                show_lidarseg_legend=True,
                                show_panoptic=True)

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第19张图片

 
 

渲染sample(例如lidar、radar and all camera)⭐⭐⭐

​  就像在原始的nuScenes devkit中一样,可以使用render_sample一次渲染所有的传感器。在扩展的nuScenes devkit中,你可以设置show_lidarseg=True来查看lidarseg标签。与上面的方法类似,您可以使用filter_lidarseg_labels只显示您希望看到的类。

# nuscenes-lidarseg
nusc.render_sample(my_sample['token'],
                   show_lidarseg=True,
                   filter_lidarseg_labels=[17, 23])

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第20张图片

  要使用render_sample显示panoptic标签,只需设置show_panoptic=True

# nuscenes-panoptic
nusc.render_sample(my_sample['token'],
                   show_lidarseg=False,
                   filter_lidarseg_labels=[17, 23],
                   show_panoptic=True)

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第21张图片

 
 

使用lidarseg/panoptic标签为给定的相机传感器渲染场景

  你也可以使用你选择的相机的lidarseg标签来渲染整个场景(filter_lidarseg_labels参数也可以在这里使用)。让我们先选一个场景:

my_scene = nusc.scene[0]

​  然后我们将scene token传递给render_scene_channel_lidarseg,这里设置了filter_lidarseg_labels=[18, 28],表示我们只对建筑车辆和人造物体感兴趣(在这里,我们设置verbose=True来生成一个窗口,让我们可以看到随机的帧)。此外,您还可以使用dpi(调整激光雷达点的大小)和imsize(调整渲染图像的大小)来调整渲染的美学效果。

# nuscenes-lidarseg
import os
nusc.render_scene_channel_lidarseg(my_scene['token'], 
                                   'CAM_FRONT', 
                                   filter_lidarseg_labels=[18, 28],
                                   verbose=True, 
                                   dpi=100,
                                   imsize=(1280, 720))

  通过添加show_panoptic=True,这个函数也适用于panoptic标签。

# # nuscenes-panoptic
import os
nusc.render_scene_channel_lidarseg(my_scene['token'], 
                                   'CAM_BACK', 
                                   filter_lidarseg_labels=[18, 24, 28],
                                   verbose=True, 
                                   dpi=100,
                                   imsize=(1280, 720),
                                   show_panoptic=True)

  需要注意的是,这里的输出结果都是视频,这里不好进行展示,大家自己操作时就明白了。当然,我们可以通过out_folder参数传递一个路径到你想要保存视频的文件夹。

# nuscenes-lidarseg
nusc.render_scene_channel_lidarseg(my_scene['token'],
                                   'CAM_BACK',
                                   filter_lidarseg_labels=[18, 28],
                                   verbose=True,
                                   dpi=100,
                                   imsize=(1280, 720),
                                   render_mode='video',
                                   out_folder=os.path.expanduser('video_image'))

 
 

渲染场景的所有cameras与lidarseg/panoptic标签

  你可以用lidarseg标签为所有相机一次性渲染整个场景作为视频。假设在这种情况下,我们对属于driveable surfaces 和 cars【即标签为17、24】的点感兴趣。

# nuscenes-lidarseg
import os
nusc.render_scene_lidarseg(my_scene['token'], 
                           filter_lidarseg_labels=[17, 24],
                           verbose=True,
                           dpi=100,
                           out_path=os.path.expanduser('video_image//my_rendered_scene.avi'))

  这和上面的一样都为视频,大家练习时自行观看。

 
 

可视化激光雷达分割预测

  在以上所有函数中,已经渲染的LiDAR点云的标签都是ground truth。如果您已经训练了一个模型来分割LiDAR点云,并在nuScenes-lidarseg数据集上运行它,您也可以使用nuScenes-lidarseg可视化您的模型的预测!你的每个.bin文件应该是numpy.uint8数组。

import os

my_sample = nusc.sample[80]
sample_data_token = my_sample['data']['LIDAR_TOP']
my_predictions_bin_file = os.path.join('data\\sets\\nuscenes\\lidarseg\\v1.0-mini', sample_data_token + '_lidarseg.bin')

nusc.render_pointcloud_in_image(my_sample['token'],
                                pointsensor_channel='LIDAR_TOP',
                                camera_channel='CAM_BACK',
                                render_intensity=False,
                                show_lidarseg=True,
                                filter_lidarseg_labels=[22, 23],
                                show_lidarseg_legend=True,
                                lidarseg_preds_bin_path=my_predictions_bin_file)

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第22张图片

 
 

可视化激光雷达全景预测

​  类似地,全景预测结果也可以被渲染!每个.npz文件都应该是一个压缩的 numpy.uint16数组

import os

my_sample = nusc.sample[87]
sample_data_token = my_sample['data']['LIDAR_TOP']
my_predictions_bin_file = os.path.join('/data/sets/nuscenes/panoptic/v1.0-mini', sample_data_token + '_panoptic.npz')

nusc.render_pointcloud_in_image(my_sample['token'],
                                pointsensor_channel='LIDAR_TOP',
                                camera_channel='CAM_BACK',
                                render_intensity=False,
                                show_lidarseg=False,
                                filter_lidarseg_labels=[17,22, 23, 24],
                                show_lidarseg_legend=True,
                                lidarseg_preds_bin_path=my_predictions_bin_file,
                                show_panoptic=True)

输出结果:

手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程_第23张图片

 
 

总结

  最后了,说点什么呢,上面这些东西你看是很难看明白的,自己动手多敲一敲,哪里不明白敲敲代码看看输出的结果,好记性不如烂笔头,加油各位阅读此文章前建议先看看上一节文章:对Nuscenes数据集一无所知,手把手带你玩转Nusences数据集

​  这部分官方是给了参考的代码的,可以再Google colab上直接运行,这里给出官方的链接:Nuscenes使用教程,但是我想大家还是自己敲一敲会印象更加深刻
  
 
​上一篇:对Nuscenes数据集一无所知,手把手带你玩转Nusences数据集
 
 
如若文章对你有所帮助,那就

咻咻咻咻~~duang~~点个赞呗

你可能感兴趣的:(自动驾驶,nuscenes数据集,lidarseg数据集,panoptic数据集,lidarseg,教程,panoptic教程)