恒源云(Gpushare)_模块化oss数据上传小技巧

文章来源 | 恒源云社区

原文地址 | 【实用代码分享】

原文作者 | 阿洲

---

嘿嘿，我又来啦～
依旧给大家带来的是我们社区“阿洲”版主的帖子。和其他版主相比来说，阿洲小哥哥发帖有个很明显特点：精简！
所以，接下来的内容不是长篇大论，只是一个超实用的小分享。
跟着小编一起看下去吧

前言

极致薅羊毛的重点是什么？就是尽量保证实例开机后的每一分钟都用在了训练上，当然实际上不可能做到这么极致，一个大的方向就是把【训练】和【训练结果分析】拆解开，尽量做到训练在实例，分析在本地。这其中关键的一步就是在关机前将训练结果或者是训练好的模型上传到oss。

实现效果

# 想要实现的是每次获得实验结果后，只需要用运行一下这个bash文件就好
./oss.sh

构建oss.sh文件

#!/bin/bash
# 1：可以用 cd 到实验结果存放的文件夹，或者直接把这个oss文件放在文件夹中，这里的举例是后面的这种情况。
# 2：登录 oss
oss login
# 3：压缩数据
loc="oss://results/" # loc: oss中需要存放的位置
f_n="XXX.zip" # f_n 压缩后的文件名

f1="XX/" # f1: 需要压缩的文件夹或单个文件
f2="" # 备用，如需压缩多个文件夹或多个文件

zip -r ${f_n} ${f1}

# 4: 上传到 oss
oss cp ${f_n} ${loc}

# 5: 删除压缩文件
rm ${f_n}

# 6: 关机
shutdown

注意

这里需要注意的是自己尝试的时候，建议先把最后一句shutdown注释掉，以免前面某些步骤出错后反复关机。