Linux指令、向JupyterLab上传大数据的方法

JupyterLab

本质是一个搭载在云端的Linux系统。因此所有的Linux指令都对它适用。要运行Linux指令时,只需要打开Terminal即可。
在JupyterLab中常用指令:
cd 目录名
cd … 返回至上一级目录

查看目录中的文件有哪些 lr

lr
lr -l
修改文件夹路径mv
删除文件rm -f
删除文件夹rm -r
相关文档:
Linux常用指令汇总
Linux如何查看文件大小

OBS和EVS的区别

采用OBS,免费使用一小时,自动停止之后(或者自己停止之后)会清空所有数据(work目录下的也不例外)。下次重启的时候,之前上传过的东西就要重新上传了。
采用EVS,work目录下的所有东西都会得到保存

向JupyterLab上传数据

数据比较大

法一:在Notebook中使用SDK的一些指令。从OBS下载文件到Notebook
上传单个文件

from modelarts.session import Session
session = Session()
session.obs.download_file(src_obs_file="obs://bucket-name/dir1/file1.txt", dst_local_dir="/home/ma-user/")

上传文件夹

from modelarts.session import Session
session = Session()
session.obs.download_dir(src_obs_dir="obs://bucket-name/dir1/", dst_local_dir="/home/ma-user/")

上传文件夹时,可能会出现第一次上传不完整的情况。代码重新跑一遍即可。

法二(自己没试过,是华为工程师告诉我的):在EVS内部,使用MoXing将OBS桶中的文件导入。MoXingAPI

数据比较小

OBS的话可以上传到OBS桶里,然后同步。
EVS的话可以克隆Gitee上的,或者是直接上传本地文件。

你可能感兴趣的:(Mindspore学习之路,JupyterLab,ModelArts,华为,深度学习)