Azure机器学习——创建Azure机器学习服务
创建Azure机器学习服务
- 一、Azure订阅
- 二、创建Azure机器学习服务（工作区）
-
- 在Azure portal界面创建Azure机器学习工作区
- 使用Python SDK创建Azure机器学习工作区
- 三、Azure机器学习服务界面介绍
-
- portal界面
-
- 概述
- 访问控制(标识和访问管理)
- 标记
- 计算
- 锁
- studio界面
-
- 笔记本
- 自动化 ML
- 设计器
- 数据集
- 试验
- 管道
- 模型
- 终结点
- 计算
- 数据存储
- 四、总结
本节主要介绍如何在Azure上创建一个机器学习服务以及介绍了Azure机器学习界面（portal和studio）上的相关栏目。
一、Azure订阅
要创建Azure服务，需要订阅Azure（订阅表示购买Azure套餐）。如果已有Azure订阅，请跳过此步。
世纪互联为新用户提供了一次初步体验 Azure 的机会：1 元试用订阅。仅需支付 1 元人民币，就可以获得有效期一个月、1500 元的 Azure 使用额度。
申请链接：注册 1 元试用订阅链接。
1 元试用订阅使用限制：1元试用订阅仅限于开发和测试使用，开通前请仔细阅读1 元试用订阅详情和使用限制。
如果在1元试用订阅有效期内及订阅暂停期间想将 1 元试用订阅升级到标准预付费订阅，请参照此链接。
完成Azure订阅后，登陆订阅Azure个人账户网站，就可以看到个人账户下的订阅信息。
图1 注册 1 元试用订阅
注意1 元试用订阅的限制
对于使用Azure机器学习，需要注意的是，1 元试用订阅除了上述30天的限制外，还存在以下限制：
- 能够创建的计算资源数量限制：最高上限为 4 个并发标准小型 ( A1 ) 计算实例，或同等数量的其他类型或大小的计算实例。（使用不了有GPU规格的虚拟机）
- 充值和有限期限制：标准预付费产品最低充值金额为人民币 1,000 元，使用额度有效期为 12 个月。 12 个月后就算额度没有用完，额度也将作废。
个人觉得1 元试用订阅的限制蛮多的，标准预付费产品的预付款模式也不怎么经济。如果不想使用中国区的Azure机器学习服务，那么可以开通Global的Azure机器学习服务：立即创建 Azure 免费帐户。
Global的Azure机器学习是30天200美元的免费额度。免费30天之后，可以升级成即用即付账户。Global的Azure机器学习的劣势是所有资源都在大陆外，虽然不需要VPN，但是访问和加载速度会慢一些。
二、创建Azure机器学习服务（工作区）
Azure机器学习工作区是Azure的基础资源，用于试验、训练和部署机器学习模型。你在云上创建了一个Azure机器学习服务，相当于创建了一个Azure机器学习工作区。
在Azure portal界面创建Azure机器学习工作区
点击图1右上角所示的门户，跳转到Azure portal界面，如下图所示。
图2 Azure portal界面
portal中间显示了最新创建和使用过的资源和资源组。更多关于portal的信息请查阅官方文档。
点击图2中左上角的“创建资源+”，进入新建资源页面。
图3 新建资源
在图3左上角的搜索市场中，输入“机器学习”，在搜索结果中点击“机器学习”。
图4 机器学习服务
点击创建，进入创建页面：
图5 机器学习创建页面
主要：在上图主要项下面：
- 工作区名称：你新建的工作区的名称。
- 订阅：目前只有“1元版试用套餐”。
- 资源组：一个保存 Azure 解决方案相关资源的容器。如果想将资源放在一个新的组中，可以点击“新建”。
Azure中层级目录由高到低：账户——>订阅——>用户——>资源组——>资源。 - 位置：目前Azure 机器学习只在“中国东部2”可用。建议将同一个解决方案中的所有资源放在同一个位置，这样可以减少解决方案中不同资源间网络传输带来的开销。
关于Azure 全球基础结构，请查看此链接。若要查询某个资源是否在某个区域可用，可以使用此链接。 - 工作区版本：目前有基本版和企业版2个选择。两者的差别源于Azure机器学习的定价。
Azure机器学习的收费包括：虚拟机的收费和机器学习附加费。基本版对用于训练和推理的 Azure 资源免收机器学习附加费。在企业版正式发布后，将（针对训练和推理）收取定价如下所示的机器学习附加费。
基本版现已正式发布 (GA)。企业版现为预览版，在此期间不收取机器学习附加费。由于企业版的很多功能基本版都不支持，并且企业版目前（2020/3/18）未收取机器学习附加费，因此建议选择企业版。
标记：输入键-值对来给新创建的资源做标记，比如创建者、所有者、资源用途等等。若要在资源组中显示，点击资源组中“编辑列”按钮，可以在创建时或者创建后添加。
图6 资源组中资源的标记信息
审阅：审查前面步骤所填写信息是否有误，如无误点击下方“创建”按钮。
稍等片刻后资源部署成功，点击下方“转到资源”按钮或者在portal主页中点击新创建的机器学习工作区，都可以进入刚刚创建的机器学习服务。
使用Python SDK创建Azure机器学习工作区
或者你可以直接通过Python SDK来创建一个Azure机器学习工作区。
SDK工作区命名空间：azureml.core.workspace.Workspace
使用以下代码导入Workspace类并创建新工作区。 如果事先已有一个可用于该工作区的 Azure 资源组，请将 create_resource_group 设置为 False。期间可能会提示输入 Azure 身份验证凭据。
from azureml.core import Workspace
ws = Workspace.create(name='myworkspace',
subscription_id='' ,
resource_group='myresourcegroup',
create_resource_group=True,
location='eastus2'
)三、Azure机器学习服务界面介绍
使用Azure机器学习Python SDK可以快速进行各种ML试验，也可以查看试验的相关信息。除了SDK，Azure机器学习还提供了Azure 门户（portal.azure.cn，Global：ms.portal.azure.com）和Azure 机器学习工作室（studio.ml.azure.cn，Global：ml.azure.com）这两个地方查看上述信息，并且它们还有一些彼此不同的功能。熟悉使用它们可以让Azure 机器学习的使用变得更加方便。
portal界面
Azure机器学习中国区的portal界面如下图所示：
图7 Azure机器学习中国区的portal界面
portal界面左侧栏目中一些使用较多的介绍如下：
概述
我们可以在“概述”中看到工作区版本、资源组、位置、订阅 和订阅 ID这些信息，也可以看到在创建工作区时系统自动一起创建的几个 Azure 资源的名称，他们都自动放到了同一个资源组中：
- Azure 容器注册表：注册在 训练和部署模型时使用的docker 容器。 Azure机器学习在训练和部署中使用了容器化技术，对需要运行的每个 Python 环境创建一个docker镜像，镜像会被上传到工作区。对于后续运行，只要不更改脚本依赖项，将重复使用已上传的镜像。 由于容器启动的速度很快，因此训练可在更短的时间内获得更好的结果。
- 存储帐户：用作工作区的默认数据存储，工作区可以直接使用该账户内的数据进行训练。
- Azure 应用程序 Insights：存储有关模型的监视信息。
- Azure Key Vault：存储工作区所需的计算目标和其他敏感信息所使用的密钥。
访问控制(标识和访问管理)
对该订阅下的其他用户设置角色（所有者、参与者等），不同的角色拥有不同的权限，从而限制某些用户、团队或者项目对工作区资源的访问和修改。
标记
以键-值对的方式添加该资源的一些信息。
计算
该工作区中已创建的单节点或者多节点计算资源，包括用于训练和推理的计算集群，以及附加到工作区的自己的计算资源。
图8 Azure机器学习计算资源实例
锁
可以添加“只读”或者“删除”锁，防止自己或者别人误改或者误删此资源。
下图是Azure Global中机器学习的portal界面，可见与中国区相比，左侧多了“试验”、“管道”、“模型”等栏目。不过抛开portal界面的些微差别，中国区和Global的Azure机器学习功能基本一致，并不影响使用。
注意：世纪互联运营的Azure中不能创建Global的Azure机器学习。
图9 Azure机器学习Global的portal界面
studio界面
虽然portal界面中的“试验”、“管道”、“模型”和“计算”等栏目可以让我们实时查看训练中的任务、已注册的模型、运行中的计算集群等信息。但Azure机器学习还提供了一个更加强大的studio界面让我们可以管理端到端机器学习过程。
注意：请勿将此Azure 机器学习工作室与机器学习工作室（经典版）混淆！
机器学习工作室（经典版）更加接近Azure 机器学习设计器（预览版），都是通过拖、拉、拽已有模块生成ML模型。Azure 机器学习工作室功能更加强大，但是现在是预览版（Preview）。
点击图9中“体验新的 Azure 机器学习工作室”下方的“立即启动”按钮，页面跳转到https://studio.ml.azure.cn，即Azure 机器学习工作室界面，如下图所示：
图10 Azure机器学习中国区的studio界面
studio界面左侧的栏目比portal界面的多，功能也更加强大。下面进行介绍：
笔记本
其中包含了用Python和R语言写的如何使用Azure机器学习的教程和例子，这些notebook也可以在此github中找到。
用户可以将这些notebook clone到自己的文件夹中运行。
图11 studio界面中的笔记本
自动化 ML
新建自动化ML试验。在训练过程中，Azure 机器学习会创建多个并行管道，尝试使用不同的算法和参数。 一旦到达试验中定义的退出条件，它就会停止。
如果直接在studio界面中新建自动化ML试验，目前仅支持表格数据。
图12 studio界面中的自动化ML
设计器
通过拖、拉、拽现成的模块在幕布中生成机器学习模型。此种建模方法仅需要少量的编程知识或者完成不需要编程知识就可以搭建一个机器学习模型。
从图中可以看出，Azure机器学习提供了很多现成的模块，如数据输入输出、数据前处理、特征选择、算法、模型训练和评估等。
图13 studio界面中的设计器
数据集
可以将本地文件、数据存储、web文件或者开放数据集注册成Azure机器学习数据集。注册数据集的一个好处是同一个工作区的试验或者用户可以通过数据集的注册名称反复使用该数据集，而不用每次都通过文件路径来访问。
另外注册数据集还有版本、创建时间、修改时间、属性、创建者和标记等信息，方便数据集的管控和追踪。
图14 studio界面中的数据集
试验
每次试验的信息都在这里显示，训练中和训练完成后要查询训练状态和参数，可以在试验中查询。
管道
创建的管道（如设计器创建的模型）模型都会在这里显示，需要查询管道的运行状态和信息，可以在管道中查询。
模型
和数据集一样，已经注册的模型将会在这里显示。
终结点
可以在此处查看部署后的终结点信息和状态。
计算
和portal界面的计算一样，此处显示Azure机器学习工作区关联的计算资源。
数据存储
工作区默认的Blob存储和其他注册到工作区的Blob存储都会在这里显示。
图15 studio界面中的数据存储
提供了一个在线的图像分类和目标检测打标签的工具，打好标签的数据可以通过注册数据集的方式直接给工作区使用，也可以已COCO数据集的格式导出。
图16 studio界面中的数据标记
四、总结
- 以上介绍了Azure订阅和Azure机器学习的创建方法。可以通过portal界面和studio界面来查看Azure机器学习的相关信息。
- 相比portal界面，studio界面内容更丰富，功能也更强大。目前机器学习studio虽然只是预览版，但是正式版会很快推出，建议大家使用Azure机器学习时充分使用studio的功能。
- 你可以用Azure机器学习的Python SDK或者Azure 机器学习 studio来使用Azure机器学习。虽然在studio界面上点击“新建”就可以直接完成一些机器学习试验，但是还是推荐大家使用SDK来充分使用Azure机器学习，接下来会用Python SDK向大家介绍如何使用Azure机器学习。