如何下载SRA存放在AWS的原始数据
通常，我们都是利用prefetch从NCBI上获取数据，然后用fasterp-dump/fastq-dump 转成fastq。但遗憾的SRA的数据是原数据的有损压缩，比如说我19年参与发表的文章里单细胞数据上传的是3个文件，但是当时的faster-dump/fastq-dump只能拆出2份（目前可以顺利拆出三份）。
但在https://trace.ncbi.nlm.nih.gov/Traces/index.html?view=run_browser&display=metadata 搜索SRR8485805是可以看到我上传的三个原始数据。
然而这些数据存放位置以S3开头，无法直接下载，必须需要通过Cloud Data Delivery的方式进行获取。
为什么，我们需要下载原始数据呢？
- 一些比对后的BAM，转成SRA后，可能就只能得到单端测序，而不是原来的双端
- PacBio HiFi测序输出的bam包含的编号信息，是纠错是必须的，不能损失
- 一些10x数据可能从sra解压缩成fastq后会出现问题
因此，有些时候，我们就需要获取最原始的作者的上传文件了。
创建Amazon的AWS账号
为了使用Cloud Data Deliver，我们你需要创建一个账号：https://aws.amazon.com/cn/cli/ 【需要一张信用卡用于支付账单】。在注册时候时候选择语音播报，我发现短信发送太慢了。
注：Amazon 的AWS如果90天不用，账号就会被停用，然后你就得重新创建账号。
最后一步，选择基本支持-免费（能省就省）
在AWS的控制台中(console.aws.amazon.com)，选择存储的S3服务。
之后，我们创建一个存储桶。
大部分参数都保持默认，只需要修改两个配置，存桶的名称必须唯一，地区必须是美国的N. Virginia 。
创建成功后，就可以回到NCBI这一边。
NCBI创建数据传输请求
通过https://www.ncbi.nlm.nih.gov/Traces/cloud-delivery/访问NCBI的云数据传递服务（这个服务是需要你登录NCBI）。
然后，我们需要选择我们需要获取的数据，通过https://www.ncbi.nlm.nih.gov/Traces/study/ 可以检索你需要的数据，例如SRR8485805。勾选需要传输的数据后，点击Deliver Data。
接着是关键的第二部，我们需要输入Bucket name，让NCBI给我们生成一个策略。
拿到这个策略后，我们需要访问https://s3.console.aws.amazon.com/s3/buckets，选择我们之前创建的桶
选择权限，并点击存储桶策略的编辑。
然后将粘贴NCBI上复制的语句，并保存更改即可。
最后勾选，你需要获取的数据，点击Deliver data。
需要注意的是AWS的存储服务时收费的，它的定价页面见https://aws.amazon.com/cn/s3/pricing/
数据发起请求和请求完成，你都会在你登录账号对应的邮箱中收到邮件。
数据下载
获取数据之后，就可以从S3上下载数据了。
在此之前，我们需要先创建一个安全凭证。
之后从https://docs.amazonaws.cn/cli/latest/userguide/getting-started-install.html获取你对应平台的软件
例如Linux的安装方式如下（以非root权限安装)
curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
./aws/install -u -i ~/.local -b ~/.local/bin
# 安装成功的提示信息
You can now run: /home/xzg/.local/bin/aws --version
用密钥配置aws,
aws configure
后续，就可以上传和下载数据了，例如把数据传到aws
aws s3 cp app.R s3://xzg-aws-ncbi
# upload: ./app.R to s3://xzg-aws-ncbi/app.R
# 查看档期数据
aws s3 ls s3://xzg-aws-ncbi
2023-07-15 10:39:29 521416 app.R
运行数据获取命令
# 命令形式如下
aws s3 cp --recursive s3://<bucket>/<folder> <local_folder>
# copy我从NCBI后去数据
aws s3 cp --recursive s3://xzg-aws-ncbi/SRR17027125 SRR17027125
当然，你也可以选择在AWS的S3网页端进行下载。
下载速度基本上不受限，只跟你家里的带宽有关。
可能的问题： An error occurred (RequestTimeTooSkewed) when calling the PutObject operation: The difference between the request time and the current time is too large
这可能是服务器的上时间偏差太大了 ，用chronyd矫正下（root权限）
chronyd -q 'server 0.pool.ntp.org iburst'
费用
分为两个部分：
- 存储上，标准的S3是每个月，前50T每 GB 0.023 USD，差不多是2毛钱1G
传输上：
- 传入不要钱
- 每月前 100GB 传出至互联网的数据，所有 AWS 服务和区域加总计算（中国和 GovCloud 区域除外）。
- 前10TB 每 GB 0.09 USD， 差不多是7毛钱1G
假设，你传了200G，不考虑免费额度，在带宽上花费140，然后存储是每天一块多（不需要的数据赶紧删，省钱）。