Nuscenes 完整版数据集批量下载

Nuscenes 完整版数据集批量下载

需求： 高速下载Nuscenes完整版数据集。之前mini版本尝鲜版，采用google浏览器自带工具下载，速度慢，且容易断。

1. 数据地址

官方地址：https://www.nuscenes.org/nuscenes

2. 获取下载链接

参考：如何得到需要下载文件的链接（路径）

具体步骤：
1）点击Asia，然后取消下载。

2）浏览器点击右上角三个点控制按钮，然后点击Downloads。
3）在弹出的Downloads页面，按F12，打开浏览器控制台。
4）点击控制台左上角 方格箭头按钮，然后移动鼠标到左侧的地址上，右侧会出现链接地址。

5）右击链接，选择复制链接地址。

3. 制作下载脚本

参考：
1.ubuntu20.04 批量下载 NuScenes V1.0 full 数据集
2.linux系统下nuScenes数据集快速下载方法

选择要下载的文件夹，新建脚本dataset.sh，内容如下，主要格式为：wget -c -O [数据集名字] [网页下载链接]。
这里下载了完整的训练数据集中的lidar模态部分。

wget -c -O v1.0-trainval01_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval01_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=buHbpzZWUVrSzlvJsSXphQVZd%2B8%3D&Expires=1656905855"
wget -c -O v1.0-trainval02_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval02_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=aCeQIJg4%2B6pR8G3ykqh4rpk8Hyo%3D&Expires=1656906112"
wget -c -O v1.0-trainval03_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval03_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=JQCfIXeOIy3dv0s5LnNZIvRAmrA%3D&Expires=1656906204"
wget -c -O v1.0-trainval04_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval04_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=SGen1IV7ZFwPz5BQ8YqkplCXvXk%3D&Expires=1656906246"
wget -c -O v1.0-trainval05_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval05_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=HynZB1K4AAkMhAZ%2FOVcpDTxnEPI%3D&Expires=1656906327"
wget -c -O v1.0-trainval06_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval06_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=qH52r4P4MltaDXw68HS64xrZZbg%3D&Expires=1656906361"
wget -c -O v1.0-trainval07_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval07_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=rM6gmdUjwh%2BRe1kIsQ3TibIq6Js%3D&Expires=1656913003"
wget -c -O v1.0-trainval08_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval08_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=Di988OpbFNQApXNRJyWdokpj2cM%3D&Expires=1656913042"
wget -c -O v1.0-trainval09_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval09_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=8Th2Z%2FbELaQ16Pv7A%2FjwTYVTN6k%3D&Expires=1656913078"
wget -c -O v1.0-trainval10_blobs_lidar.tgz "https://s3.ap-southeast-1.amazonaws.com/asia.data.nuscenes.org/public/v1.0/v1.0-trainval10_blobs_lidar.tgz?AWSAccessKeyId=AKIA6RIK4RRMFUKM7AM2&Signature=Kc%2FF685kVVJG%2FenjmWQt2kHnyKM%3D&Expires=1656913104"

注意：上述脚本地址可能有问题，因为nuscenes定期会更换下载地址，故需要采用2中提供的方法 重新粘贴下载地址。

4. 使用脚本开始下载数据

bash dataset.sh 

注意：如果中途断掉，重新执行脚本即可。

5. 校验、解压数据

5.1 校验

md5sum v1.0-trainval07_blobs_lidar.tgz
## 结果，运行过程比较慢，稍微等待几分钟
md5: 30672d212a2cecde92c28ee473aa76d1  v1.0-trainval07_blobs_lidar.tgz

5.2 解压数据

命令: tar -zvxf nuscenes数据.tgz [-C 保存文件路径]

tar -zvxf v1.0-trainval03_blobs.tgz