hrsc2016 下载 数据集_aws CLI 下载数据集踩坑指南

由于aws提供了一些优质数据集,如下：

Registry of Open Data on AWS​registry.opendata.aws

然后下载这些数据集就成为科研理所当然的事情。然后接下来坑的地方就来了……（我是义愤填膺地写下了这篇文章，希望能够帮助大家……）

首先是下载aws CLI：

AWS Command Line Interface​aws.amazon.com

这个就根据自己使用的平台，下载不同的软件就好。

下载好了之后呢，接下来坑的地方就来了……

首先，根据官方的教程，你需要配置一下，输入以下指令：

aws configure

然后就会让你输入以下四行（以下示例为官方教程内容）：

AWS Access Key ID [None]: AKIAIOSFODNN7EXAMPLE
AWS Secret Access Key [None]: wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
Default region name [None]: us-west-2
Default output format [None]: ENTER

接下来就灵魂大拷问了，这些东西都是什么……，照着官方教程上的这个输入就好了嘛？

回答是：不是……

当初我以为，我只是想安安静静地下载个数据集，只要老老实实地按照官方文档上的来就好了吧，嗯，结果你们应该猜到了……

后来经过我机智地推理，终于搞明白了这四行输入内容是什么了！！！

首先，你需要注册一个aws的IMA账号。

创建您的第一个 IAM 管理员用户和组​docs.aws.amazon.com

按照这个一步步来就好。

在最后一步，你会看到AWS Access Key，AWS Secret Access Key。然后输入这些内容就好了。

然后有一个问题就是：Default region name 这个东东应该输入什么呢？

这就是一个支击灵魂的问题，如果这个参数没有正确输入，那么下载数据时候就会出现错误。那么这个数据在哪儿呢

看到了吗！！！region=us-east-2

在你注册IAM成功的时候，浏览器的输入栏里面会有显示你所在的region。然后把这个us-east-2输入到Default region name就好了。。。你说坑不坑。。。

当然最坑的东西还没有来……

到了这一步，感觉离成功也不远了。确实是，只剩下最后一个巨坑。

本文就以下载数据集为例，使用指令：

aws s3 cp s3://bucket/prefix /to/local/path

其中s3://bucket/prefix为远程数据位置，/to/local/path为复制到本机的地址。这个地方就坑了……（我用的是win10系统。不知道这个问题是不是win用户独有的）

发现一个问题，就是本机地址无论怎么设置都不对。提示信息如下：

我还以为是win的地址逻辑跟Linux系统的不一样。研究了好久发现不是。问题在于要给远程数据位置加个引号？！！！！？

像这样：

aws s3 cp "s3://bucket/prefix" /to/local/path

然后就好了……！！！

我严重怀疑aws CLI没有集成测试过！！啊啊啊啊！！！