手把手带你玩转Nuscenes数据集2——nuScenes lidarseg and panoptic教程

  在之前的文章中，已经介绍了Nuscenes数据集的基本使用——包括数据集的简介、下载、数据读取等等，还不清楚的可以点击链接跳转学习本节将对Nuscenes的扩展包lidarseg 和 panoptic进行讲解，lidarseg和panoptic在教程中有很多功能是类似的，所以我们把它们放在一个教程中。当然你也可以自己选择lidarseg或panoptic数据集，即针对特定的任务使用某个数据集。下面就让我们一起来学习，一起真正的玩转Nuscenes数据集叭

 
 

准备工作✨✨✨

​  在上一节中，我们已经下载了mini数据集，这里依旧可以用到。但不同的是，这节我们还会下载其他的数据（lidarseg 和 panoptic），我们需要让这些数据集存储在特定位置，即让不同数据集之前有一定的文件关系，以便后面成功读取✅✅✅

  再次强调，本次实验我们将用到三个数据集，分别是v1.0_mini，lidarseg 和 panoptic。**【注意：v1.0_mini在上节我们已经下载，lidarseg 和 panoptic我们仍然使用其mini版本】**下面先来介绍如何下载lidarseg 和 panoptic数据集，方法很简单，我们去官网直接点击下载即可，下载示意图如下：

​   为了给大家带来方便，这里也可以在浏览器搜索框输入下面网址直接下载两个数据集：

https://www.nuscenes.org/data/nuScenes-lidarseg-mini-v1.0.tar.bz2  #下载lidarseg-mini数据集
https://www.nuscenes.org/data/nuScenes-panoptic-v1.0-mini.tar.gz   #下载panoptic数据集 

​   上文提到，我们应将3个数据集提取到规定的特殊位置，即将刚刚下载压缩文件解压到/data/sets/nuscenes中，你的文件夹结构应该是这样的：

​  看到这个结构，可能大家还有些许疑惑，这里贴出我文件夹的路径相信大家就一目了然了。【注意：这里还是要提醒一下大家，在下图中的v1.0-mini文件夹中，包括各种.josn格式的文件，其中包括lidarseg.json、panoptic.json、category.json三个文件，这三个文件都是从lidarseg和panoptic数据集中复制过来的】

 
 

数据读取✨✨✨

  上文已经下载好了数据集，且文件夹路径配置妥当，现在就可以大展身手，让我们一起来玩转Nuscenes叭⚽⚽⚽
 

导入相关库并加载数据集

  这里的dataroot为数据集存放位置【这里我使用的是相对路径，你也可以使用绝对路径】，运行成功后应出现如下的信息：

%matplotlib inline
from nuscenes import NuScenes
nusc = NuScenes(version='v1.0-mini', dataroot='data\\sets\\nuscenes', verbose=True)

​  可以从结果中看到，我们已经加载了nuscenes-lidarseg和nuscenes-panoptic，这里和上一节加载数据集结果的不同之处就在这里。

 

lidarseg和panoptic数据集的点统计

• lidarseg

​   让我们通过查看lidarseg数据集中有哪些类以及属于每个类的点数来快速了解一下lidarseg数据集。类将根据点的数量按升序排序(因为下面的sort_by='count');你也可以通过设置sort_by='name'或sort_by='index'分别对类名或类索引进行排序。

# nuscenes-lidarseg
nusc.list_lidarseg_categories(sort_by='count')

输出结果：

​   使用list_lidarseg_categories，您可以通过查看最左边的列来获得每个类名所属的索引。你也可以使用lidarseg_idx2name_mapping来获取索引所对应的类名。

nusc.lidarseg_idx2name_mapping

输出结果：

  相反，你也可以使用lidarseg_name2idx_mapping来从类名属性中获得索引。

nusc.lidarseg_name2idx_mapping

输出结果：

• panoptic

  对于nuScenes-panoptic，它与nuScenes-lidarseg共享相同的成员变量lidarseg_idx2name_mapping和lidarseg_names2idx_mapping。类似地，您可以从nuScenes-panoptic数据集检查每个语义类别的点数。唯一要做的就是添加gt_from='panoptic'参数。默认情况下,gt_from = ' lidarseg '。

# nuscenes-panoptic
nusc.list_lidarseg_categories(sort_by='count', gt_from='panoptic')

​ 输出结果：

  您可能已经注意到某些类别的点数在lidarseg和panoptic数据集之间略有不同。原因是实例之间的重叠点在nuScenes-panoptic中被设置为noise(类别0)，你可以看到noise类别的点数增加了，而总点数保持不变。

 
 

panoptic数据集的instance统计

  实例统计信息是专属于全景数据集的。为此，我们提供了list_panoptic_instances()函数。你可以将sort_by设置为[‘count’， ‘index’， ‘name’]之一。该函数将计算每帧的实例数，实例总数(唯一的对象ID)和实例状态(一个实例可能有多个状态)。它还计算每个类别的统计数据，包括一个实例跨越的帧数的平均值和标准偏差，以及每个实例的点数的平均值和标准偏差。

nusc.list_panoptic_instances(sort_by='count')

输出结果：

 
 

获取lidarseg和panoptic的sample token的统计信息⭐⭐⭐

  首先，让我们获取一个sample。

my_sample = nusc.sample[5]

  之后使用get_sample_lidarseg_stats来获取lidarseg的样本统计信息。通过执行sort_by=‘count’，类和它们各自的频率计数将按升序打印;你也可以在这里执行sort_by='name'和sort_by='index'。

# nuscenes-lidarseg
nusc.get_sample_lidarseg_stats(my_sample['token'], sort_by='count')

输出结果：

  类似地，通过添加gt_from='panoptic'，我们可以使用相同的函数来使用panoptic数据集获得类别频率计数。正如在list_lidarseg_categories()中提到的，点计数可能与lidarseg稍有不同，这是因为在nuscens -panoptic中，多个实例的重叠点被设置为noise。

# nuscenes-panoptic
nusc.get_sample_lidarseg_stats(my_sample['token'], sort_by='count', gt_from='panoptic')

输出结果：

 
 

渲染lidarseg标签⭐⭐⭐

​  在最初的nuScenes devkit中，即我们上一节所介绍的数据集中，您可以将一个sample_data_token传递到render_sample_data中，以呈现点云的鸟瞰图。这些点会根据与自我车的距离被着色。现在有了扩展的nuScenes devkit，您所需要做的就是设置show_lidarseg=True来显示pointcloud的类标签。【这里你也可以设置with_anns = Ture，看看和with_anns=False的区别】

sample_data_token = my_sample['data']['LIDAR_TOP']
nusc.render_sample_data(sample_data_token,
                        with_anns=False,
                        show_lidarseg=True)

输出结果：

  但如果你只想专注于特定的类别呢?考虑到前面打印的点云统计信息，假设您只对卡车和汽车感兴趣。你可以从统计数据中看到属于这些类的类索引【汽车的索引为17，卡车的索引为23】，然后将这些索引的数组传递到filter_lidarseg_labels中，如下所示:

nusc.render_sample_data(sample_data_token,
                        with_anns=False,
                        show_lidarseg=True,
                        filter_lidarseg_labels=[17, 23])

输出结果：

  如上图所示，现在只有属于卡车和拖车的点云中的点被过滤出来，以满足您的观看需求。此外，还可以使用show_lidarseg_legend显示一个图例，该图例指示每个类的颜色。

nusc.render_sample_data(sample_data_token,
                        with_anns=False,
                        show_lidarseg=True,
                        show_lidarseg_legend=True)

输出结果：

 
 

渲染panoptic标签⭐⭐⭐

  与lidarseg类似，也使用相同的函数来呈现panoptic标签（全景标签）。参数的区别是show_panoptic=True。默认情况下，show_lidarseg和show_panoptic都被设置为False。如果两者都设置为True，即show_lidarseg=True, show_panoptic=True, lidarseg将会优先渲染。

sample_data_token = my_sample['data']['LIDAR_TOP']
nusc.render_sample_data(sample_data_token,
                        with_anns=False,
                        show_lidarseg=False,
                        show_panoptic=True)

输出结果：

  你可以看到同一类别的不同的车辆实例，会显示不同的颜色。类似地，您可以使用filter_lidarseg_labels和show_lidarseg_legend=True来显示特定事物和物品类别的全景标签，以及类别图例。注意这两个参数在lidarseg和panoptic数据集之间也是共享的。

# show trucks and car
nusc.render_sample_data(sample_data_token,
                        with_anns=False,
                        show_panoptic=True,
                        filter_lidarseg_labels=[17, 23])

输出结果：

# show stuff category legends
nusc.render_sample_data(sample_data_token,
                        with_anns=False,
                        show_lidarseg=False,
                        show_lidarseg_legend=True,
                        show_panoptic=True)

输出结果：

 
 

在图像中渲染lidarseg和panoptic 标签⭐⭐⭐

  如果你想要将点云叠加到相机对应的图像中，你可以像使用原始nuScenes devkit一样使用render_pointcloud_in_image，但是要设置show_lidarseg=True(记住要设置render_intensity=False)。与render_sample_data类似，您可以使用filter_lidarseg_labels过滤查看特定的类。您可以使用show_lidarseg_legend在渲染中显示一个图例。

# nuscenes-lidarseg
nusc.render_pointcloud_in_image(my_sample['token'],
                                pointsensor_channel='LIDAR_TOP',
                                camera_channel='CAM_FRONT',
                                render_intensity=False,
                                show_lidarseg=True,
                                filter_lidarseg_labels=[17, 23, 24],
                                show_lidarseg_legend=True)

输出结果：

  同样，这个函数支持show_panoptic=True模式，将显示全景标签而不是语义标签。只显示物品类别的图例。【对语义标签和全景标签不清楚的戳传送门了解详情】

# nuscenes-panoptic
nusc.render_pointcloud_in_image(my_sample['token'],
                                pointsensor_channel='LIDAR_TOP',
                                camera_channel='CAM_FRONT',
                                render_intensity=False,
                                show_lidarseg=False,
                                filter_lidarseg_labels=[17, 23, 24],
                                show_lidarseg_legend=True,
                                show_panoptic=True)

 
 

渲染sample(例如lidar、radar and all camera)⭐⭐⭐

​  就像在原始的nuScenes devkit中一样，可以使用render_sample一次渲染所有的传感器。在扩展的nuScenes devkit中，你可以设置show_lidarseg=True来查看lidarseg标签。与上面的方法类似，您可以使用filter_lidarseg_labels只显示您希望看到的类。

# nuscenes-lidarseg
nusc.render_sample(my_sample['token'],
                   show_lidarseg=True,
                   filter_lidarseg_labels=[17, 23])

输出结果：

  要使用render_sample显示panoptic标签，只需设置show_panoptic=True

# nuscenes-panoptic
nusc.render_sample(my_sample['token'],
                   show_lidarseg=False,
                   filter_lidarseg_labels=[17, 23],
                   show_panoptic=True)

输出结果：

 
 

使用lidarseg/panoptic标签为给定的相机传感器渲染场景

  你也可以使用你选择的相机的lidarseg标签来渲染整个场景(filter_lidarseg_labels参数也可以在这里使用)。让我们先选一个场景:

my_scene = nusc.scene[0]

​  然后我们将scene token传递给render_scene_channel_lidarseg，这里设置了filter_lidarseg_labels=[18, 28]，表示我们只对建筑车辆和人造物体感兴趣(在这里，我们设置verbose=True来生成一个窗口，让我们可以看到随机的帧)。此外，您还可以使用dpi(调整激光雷达点的大小)和imsize(调整渲染图像的大小)来调整渲染的美学效果。

# nuscenes-lidarseg
import os
nusc.render_scene_channel_lidarseg(my_scene['token'], 
                                   'CAM_FRONT', 
                                   filter_lidarseg_labels=[18, 28],
                                   verbose=True, 
                                   dpi=100,
                                   imsize=(1280, 720))

  通过添加show_panoptic=True，这个函数也适用于panoptic标签。

# # nuscenes-panoptic
import os
nusc.render_scene_channel_lidarseg(my_scene['token'], 
                                   'CAM_BACK', 
                                   filter_lidarseg_labels=[18, 24, 28],
                                   verbose=True, 
                                   dpi=100,
                                   imsize=(1280, 720),
                                   show_panoptic=True)

  需要注意的是，这里的输出结果都是视频，这里不好进行展示，大家自己操作时就明白了。当然，我们可以通过out_folder参数传递一个路径到你想要保存视频的文件夹。

# nuscenes-lidarseg
nusc.render_scene_channel_lidarseg(my_scene['token'],
                                   'CAM_BACK',
                                   filter_lidarseg_labels=[18, 28],
                                   verbose=True,
                                   dpi=100,
                                   imsize=(1280, 720),
                                   render_mode='video',
                                   out_folder=os.path.expanduser('video_image'))

 
 

渲染场景的所有cameras与lidarseg/panoptic标签

  你可以用lidarseg标签为所有相机一次性渲染整个场景作为视频。假设在这种情况下，我们对属于driveable surfaces 和 cars【即标签为17、24】的点感兴趣。

# nuscenes-lidarseg
import os
nusc.render_scene_lidarseg(my_scene['token'], 
                           filter_lidarseg_labels=[17, 24],
                           verbose=True,
                           dpi=100,
                           out_path=os.path.expanduser('video_image//my_rendered_scene.avi'))

  这和上面的一样都为视频，大家练习时自行观看。

 
 

可视化激光雷达分割预测

  在以上所有函数中，已经渲染的LiDAR点云的标签都是ground truth。如果您已经训练了一个模型来分割LiDAR点云，并在nuScenes-lidarseg数据集上运行它，您也可以使用nuScenes-lidarseg可视化您的模型的预测!你的每个.bin文件应该是numpy.uint8数组。

import os

my_sample = nusc.sample[80]
sample_data_token = my_sample['data']['LIDAR_TOP']
my_predictions_bin_file = os.path.join('data\\sets\\nuscenes\\lidarseg\\v1.0-mini', sample_data_token + '_lidarseg.bin')

nusc.render_pointcloud_in_image(my_sample['token'],
                                pointsensor_channel='LIDAR_TOP',
                                camera_channel='CAM_BACK',
                                render_intensity=False,
                                show_lidarseg=True,
                                filter_lidarseg_labels=[22, 23],
                                show_lidarseg_legend=True,
                                lidarseg_preds_bin_path=my_predictions_bin_file)

输出结果：

 
 

可视化激光雷达全景预测

​  类似地，全景预测结果也可以被渲染!每个.npz文件都应该是一个压缩的 numpy.uint16数组

import os

my_sample = nusc.sample[87]
sample_data_token = my_sample['data']['LIDAR_TOP']
my_predictions_bin_file = os.path.join('/data/sets/nuscenes/panoptic/v1.0-mini', sample_data_token + '_panoptic.npz')

nusc.render_pointcloud_in_image(my_sample['token'],
                                pointsensor_channel='LIDAR_TOP',
                                camera_channel='CAM_BACK',
                                render_intensity=False,
                                show_lidarseg=False,
                                filter_lidarseg_labels=[17,22, 23, 24],
                                show_lidarseg_legend=True,
                                lidarseg_preds_bin_path=my_predictions_bin_file,
                                show_panoptic=True)

输出结果：

 
 

总结

  最后了，说点什么呢，上面这些东西你看是很难看明白的，自己动手多敲一敲，哪里不明白敲敲代码看看输出的结果，好记性不如烂笔头，加油各位阅读此文章前建议先看看上一节文章：对Nuscenes数据集一无所知，手把手带你玩转Nusences数据集

​  这部分官方是给了参考的代码的，可以再Google colab上直接运行，这里给出官方的链接：Nuscenes使用教程，但是我想大家还是自己敲一敲会印象更加深刻
  
 
​上一篇：对Nuscenes数据集一无所知，手把手带你玩转Nusences数据集
 
 
如若文章对你有所帮助，那就

咻咻咻咻~~duang~~点个赞呗