Linux系统安装ossutil并下载数据到本地服务器上

今天处理了个数据，公司把数据传到阿里云上了，之前没有从阿里云上下载过数据，记录下学习的过程，整个过程不难，就是因为粗心，折腾了比较久。

1. Linux系统安装ossutil

参考的链接是下载和安装
根据官方教程指导就可以了

cd ~/Software/ossbrowser
# 1. 运行以下命令下载ossutil
wget https://gosspublic.alicdn.com/ossutil/1.7.13/ossutil64
# 2. 运行以下命令修改文件执行权限
chmod 755 ossutil64
# 3.使用交互式配置生成配置文件
./ossutil64 config
# 使用交互式配置生成配置文件先是会让你选择配置文件目录，可以直接回车，默认配置文件目录就是/home/user/.ossutilconfig，教程里是建议直接按回车使用默认配置文件的路径。
# 然后会让你选择中文还是英文，之后就是最重要的几个参数配置，主要是endpoint,accessKeyID, accessKeySecret, stsToken.
# 这边我主要用到的是endpoint,accessKeyID, accessKeySecret

配置文件最主要的参数是有以下几个

配置文件最主要的几个参数

Endpoint就是你所在地域的路径， 我这边是华东2(上海)
可以通过访问域名和数据中心
accessKeyID和accessKeySecret提供数据的人会给你的。

自己犯的一个错误就是，看到有内网endpoint和外网endpoint, 然后我理解错了内网和外网概念，刚开始配置的时候endpoint选成了内网的，然后死活进不去，还在群里请教了别人，后来恍然大悟，我个大傻瓜，愚蠢的错误啊。

访问域名和数据中心

所以最终配置完的配置文件是这样子的

vi /home/user/.ossutilconfig

image.png

2.批量下载数据

这边参考的链接主要是常用命令
我主要学习了ls和cp的两个命令

image.png

(1) ls命令

我主要学习的是列出object的命令

ls命令

cd ~/Software/ossbrowser
./ossutil64 ls oss://10kgenomics/data-630/ --include *.fastq.gz | awk -F ' ' '{print $8}' > ossutil_datapath.txt

#使用了include的命令，就是匹配出fastq.gz结尾的数据，然后使用awk命令，空格符号分隔，第八列的数据
# 记得删除掉空白行

ossutil_datapath.txt

(2) cp命令下载数据

我是批量下载下来的，没有使用文件夹递归下载，我感觉这样子快点

cd ~/Software/ossbrowser
datapath=/home/user/projects/11/222/data
cat ossutil_datapath.txt | while read line; do echo "nohup ./ossutil64 cp ${line} ${datapath} --update &"; done >> datadownload_command_new.sh
sh datadownload_command_new.sh

datadownload_command_new.sh 内容

最后，恭喜自己get了新技能啦~~撒花❀❀❀