Nuscenes 完整版数据集批量下载

Nuscenes 完整版数据集批量下载

需求: 高速下载Nuscenes完整版数据集。之前mini版本尝鲜版,采用google浏览器自带工具下载,速度慢,且容易断。

1. 数据地址

官方地址:https://www.nuscenes.org/nuscenes

2. 获取下载链接

参考:如何得到需要下载文件的链接(路径)

具体步骤
1)点击Asia,然后取消下载。
Nuscenes 完整版数据集批量下载_第1张图片
2)浏览器点击右上角三个点控制按钮,然后点击Downloads。
3)在弹出的Downloads页面,按F12,打开浏览器控制台。
4)点击控制台左上角 方格箭头按钮,然后移动鼠标到左侧的地址上,右侧会出现链接地址。
Nuscenes 完整版数据集批量下载_第2张图片
5)右击链接,选择复制链接地址。
Nuscenes 完整版数据集批量下载_第3张图片

3. 制作下载脚本

参考
1.ubuntu20.04 批量下载 NuScenes V1.0 full 数据集
2.linux系统下nuScenes数据集快速下载方法

选择要下载的文件夹,新建脚本dataset.sh,内容如下,主要格式为:wget -c -O [数据集名字] [网页下载链接]。
这里下载了完整的训练数据集中的lidar模态部分。

wget -c -O v1.0-trainval01_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval01_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=buHbpzZWUVrSzlvJsSXphQVZd%2B8%3D&Expires=1656905855"
wget -c -O v1.0-trainval02_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval02_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=aCeQIJg4%2B6pR8G3ykqh4rpk8Hyo%3D&Expires=1656906112"
wget -c -O v1.0-trainval03_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval03_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=JQCfIXeOIy3dv0s5LnNZIvRAmrA%3D&Expires=1656906204"
wget -c -O v1.0-trainval04_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval04_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=SGen1IV7ZFwPz5BQ8YqkplCXvXk%3D&Expires=1656906246"
wget -c -O v1.0-trainval05_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval05_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=HynZB1K4AAkMhAZ%2FOVcpDTxnEPI%3D&Expires=1656906327"
wget -c -O v1.0-trainval06_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval06_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=qH52r4P4MltaDXw68HS64xrZZbg%3D&Expires=1656906361"
wget -c -O v1.0-trainval07_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval07_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=rM6gmdUjwh%2BRe1kIsQ3TibIq6Js%3D&Expires=1656913003"
wget -c -O v1.0-trainval08_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval08_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=Di988OpbFNQApXNRJyWdokpj2cM%3D&Expires=1656913042"
wget -c -O v1.0-trainval09_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval09_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=8Th2Z%2FbELaQ16Pv7A%2FjwTYVTN6k%3D&Expires=1656913078"
wget -c -O v1.0-trainval10_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval10_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=Kc%2FF685kVVJG%2FenjmWQt2kHnyKM%3D&Expires=1656913104"

注意:上述脚本地址可能有问题,因为nuscenes定期会更换下载地址,故需要采用2中提供的方法 重新粘贴下载地址

4. 使用脚本开始下载数据

bash dataset.sh 

注意:如果中途断掉,重新执行脚本即可。

5. 校验、解压数据

5.1 校验

md5sum v1.0-trainval07_blobs_lidar.tgz
## 结果,运行过程比较慢,稍微等待几分钟
md5: 30672d212a2cecde92c28ee473aa76d1  v1.0-trainval07_blobs_lidar.tgz

5.2 解压数据

命令: tar -zvxf nuscenes数据.tgz [-C 保存文件路径]

tar -zvxf v1.0-trainval03_blobs.tgz

你可能感兴趣的:(公开数据,人工智能,深度学习,机器学习,目标检测,计算机视觉)