【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源

其实ModelArts的帮助手册上已经有一篇文档:https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0021.html,但是我觉得可能开发者还是会存在一些小疑问,所以我自己在本地做了尝试,截图说明过程。

我们实际上使用一个PyCharm ToolKit工具来帮助建立从本地pyCharm IDE到ModelArts的连接通道,本案例我使用MXNet实现手写数字图像识别应用的示例,在本地快速完成代码编写,发布到ModelArts公有云完成模型的训练和模型生成,生成的模型可以进一步快速进行部署(本文没有覆盖该步骤)。

安装toolkit前需要先安装2019.2版本(目前toolkit仅适配该版本)的pycharm,下载地址是:

https://download.jetbrains.com/python/pycharm-professional-2019.2.exe?_ga=2.11170941.815358500.1587189937-686177363.1586569505,也可以去华为云官网下载(好处是那里会持续更新版本,较为及时):https://developer.huaweicloud.com/tools。

需要注意,如果已经安装了高版本的pyCharm,需要首先卸载(自动)已安装的pyCharm:

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第1张图片

下载一个工具Pycharm-ToolKit-PC-2019.2-HEC-1.3.0.zip,连接本地IDE与云之间的链路:

https://www.jetbrains.com/pycharm/download/other.html

解压后看到一堆jar文件,

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第2张图片

接着回到pyCharm IDE,打开Settings:

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第3张图片

找到Plugins,选择一个插件:

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第4张图片

点击RestartIDE:

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第5张图片

重启后看到如下界面:

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第6张图片

然后我们需要去ModelArts网站申明秘钥:

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第7张图片

申请秘钥:

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第8张图片

短信验证码注册成功后,请务必把csv文件保存到本机。

回到pyCharm IDE:

 

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第9张图片

注意,如果填写秘钥键值对成功后,Edit Credential应该是要打钩的,如果没有,请查看网络连接是否存在问题,例如不允许连接外网,或是对访问外网有限制。

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第10张图片

注意,需要你重新点击edit credential按钮,退出后就能看到打钩了。

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第11张图片

 

这样我们就完成了pyCharm IDE与ModelArts的对接工作,进入下一步,实际训练一个模型。

首先,下载手写字的数据集:https://modelarts-cnnorth1-market-dataset.obs.cn-north-1.myhuaweicloud.com/dataset-market/Mnist-Data-Set/archiver/Mnist-Data-Set.zip

登录华为云上传OBS:

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第12张图片

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第13张图片

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第14张图片

创建两个文件夹,一个用于存放数据集,一个用于存放训练生成的日志(需要传回到pyCharm IDE并显示):

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第15张图片

接着在pyCharm打开工程,点击“Run Training Job”:

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第16张图片

填写参数,可以参考ModelArts训练模型时填写的参数:

【华为云技术分享】如何使用pyCharm与ModelArts公有云服务联动开发,快速且充分地利用云端GPU计算资源_第17张图片

训练完成后,训练模型保存在OBS中 /工程名/output/V0006/

点击这里,了解更多精彩内容

你可能感兴趣的:(技术交流)