How to understand ModelArts in Huawei Cloud

概述

什么是ModelArts

  ModelArts是面向AI开发者的一站式开发平台，提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。

  “一站式”是指AI开发的各个环节，包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看，ModelArts底层支持各种异构计算资源，开发者可以根据需要灵活选择使用，而不需要关心底层的技术。同时，ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架，也支持开发者使用自研的算法框架，匹配您的使用习惯。

  ModelArts的理念就是让AI开发变得更简单、更方便。

  面向不同经验的AI开发者，提供便捷易用的使用流程。例如，面向业务开发者，不需关注模型或编码，可使用自动学习流程快速构建AI应用；面向AI初学者，不需关注模型开发，使用预置算法构建AI应用；面向AI工程师，提供多种开发环境，多种操作流程和模式，方便开发者编码扩展，快速构建模型及应用。

图解ModelArts

初识ModelArts

初识ModelArts

初识Workflow

uml

产品架构

ModelArts是一个一站式的开发平台，能够支撑开发者从数据到AI应用的全流程开发过程。包含数据处理、模型训练、模型管理、模型部署等操作，并且提供AI Gallery功能，能够在市场内与其他开发者分享模型。

ModelArts支持应用到图像分类、物体检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景

ModelArts架构

产品优势

• 一站式

  开“箱”即用，涵盖AI开发全流程，包含数据处理、模型开发、训练、管理、部署功能，可灵活使用其中一个或多个功能。

• 易上手
  • 提供多种预置模型，开源模型想用就用。
  • 模型超参自动优化，简单快速。
  • 零代码开发，简单操作训练出自己的模型。
  • 支持模型一键部署到云、边、端。
• 高性能
  • 自研MoXing深度学习框架，提升算法开发效率和训练速度。
  • 优化深度模型推理中GPU的利用率，加速云端在线推理。
  • 可生成在Ascend芯片上运行的模型，实现高效端边推理。
• 灵活
  • 支持多种主流开源框架(TensorFlow、PyTorch、MindSpore等)。
  • 支持主流GPU芯片。
  • 支持Ascend芯片。
  • 支持专属资源独享使用。
  • 支持自定义镜像满足自定义框架及算子需求。

首次使用ModelArts

  如果您是首次使用ModelArts的用户，建议您学习并了解如下信息：

• 基础知识了解

  通过基础知识章节的内容，了解ModelArts相关的基础知识，包含AI开发的基础流程、AI开发的基础概念，以及ModelArts服务的特有概念和功能的详细介绍。

• 入门使用

  《快速入门》提供了样例的详细操作指导，帮助用户学习并上手使用ModelArts。

• 获取并尝试更多样例

  ModelArts支持多种开源引擎，基于各类引擎和功能，提供了丰富的样例指导，您可以参考《最佳实践》的样例指导，完成相关的模型构建和部署。

• 使用更多的功能，并查看其相关操作指导

  • 如果您是一个业务开发者，可以使用自动学习功能（无需编码，无需专业的AI基础能力），快速构建模型。详细操作指导可参考《自动学习》。

  • 如果您是一个AI工程师，可以使用AI全流程开发，包含使用《开发环境》、《数据准备与分析》、《数据标注》、《模型开发》、《推理部署》等，您使用一个或多个功能应用到您的AI开发中。

  • 如果您想要直接调用ModelArts的API或SDK完成AI开发，您可以参考《API参考》或《SDK参考》获取详情。

实践案例

使用ModelArts中开发工具学习Python（初级）

  本实验指导用户基于Notebook对Python编程语言有一个基础的认知，掌握Python的基础语法

ModelArts服务应用-商超商品识别

  本实验指导用户订阅并部署ModelArts中的模型来完成图片识别任务。

基于ModelArts自动学习实现美食分类

  本实验指导用户使用ModelArts的自动学习的图像分类对美食进行分类，使用ModelArts自动学习是帮助实现AI应用的低门槛、高灵活、零代码的定制化模型开发，自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。

基于ModelArts智能标注提升70%数据标注效率

  在AI开发过程中，数据标注的时间可能占了一半以上，非常消耗人力。本实验基于ModelArts智能数据标注功能，用AI来解决数据标注慢的问题，让开发者体验智能标注越标越准的魅力，高效完成海量数据的标注，大幅度提升标注效率。 在本实验中，您将使用ModelArts的数据标注功能，标注图片中的红灯、绿灯、黄灯、人行横道、限速标志和解除限速标志，并体验使用智能数据标注功能自动批量标注数据。

参考文献

• 产品首页-ModelArts
• 文档首页-ModelArts
• 华为云开发者社区 / ModelArts使用系列文章-（1）初识ModelArts
• 华为云开发者社区 / ModelArts使用系列文章-（2）口罩模型训练作业
• 华为云开发者社区 / 使用PyCharm在ModelArts上进行模型开发
• 华为云开发者社区 / 医学与AI的结合（一）：如何基于ModelArts自动机器学习完成心脏病预测模型
• 华为云开发者社区 / 基于ModelArts训练自动驾驶-车道线检测模型
• 华为云开发者社区 / DataArts Studio串联ModelArts作业
• 华为云开发者社区 / 基于ModelArts实现小样本学习
• 华为云开发者社区 / ModelArts使用感受
• 华为云开发者社区 / 基于 ModelArts的古诗词自动生成
• 华为云开发者社区 / 关于我用ModelArts自动学习识别冰墩墩这件事
• 华为云开发者社区 / 华为云 ModelArts 应用轻松实现图片识别
• 华为云开发者社区 / ModelArts中JupyterLab常用操作