物体检测类型实验，华为云ModelArts数据管理功能新体验
前言
在零售行业的线下店铺中，最大的工作量之一便是检查货架的货品情况，及时理货补货。
对于某些供需较大的货品，及时补充空缺，对提升消费者购物满意度有着重要的提升作用。
然而，每个区域的货物成百上千，加上一些外界因素，比如店铺灯光、视觉盲区，这些因素叠加在一起，可能会影响店员对货物数量的感知。
最近在研究AI和视觉识别，追踪货架上的货物情况。借助工具，实现店员对货架商品动态的了如指掌的场景，是我这次研究的主要方向。
而这次寻到的助力，依旧是华为云ModelArts，它提供的物体检测类型实验，可以帮忙解决前期数据管理的难题。
三分钟了解华为云ModelArts的数据管理
AI模型开发中，数据准备花费时间多？
它说，
给开发者提供了基础的数据标注、版本管理能力。
AI模型开发中，数据准备效率低？
它说，
给开发者提供了数据处理（数据选择、数据清洗等）、自动分组、智能标注、特征分析等功能，帮助开发者提升数据准备效率。
功能区分这么细致，用起来复杂吗？
它说，
提供了实践示例，简单几步，便可轻松完成一个物体检测类型实验。
接下来，就让我们一起体验一下，如何完成一个物体检测类型实验。
物体检测类型实验
前置工作
- 首先确保已经完成了华为云账号的开通与认证。
- 创建OBS桶用于存储数据。
创建OBS桶的操作流程如下：
1、登录OBS管理控制台，在桶列表页面右上角单击“创建桶”，创建OBS桶。
2、完成参数录入，创建OBS桶。
-
- "区域"：华北-北京四，后续区域需要选择和OBS桶一致。
- "桶名称"：创建桶名称，建议创建的桶名称具有可识别性，本次实验以“obs-wtjclx”为例。
其他使用默认值即可。确认无误后单击右下角“立即创建”。
进入实验
步骤1：从AI Gallery下载数据集
1、进入模型详情页，下载数据集。
进入模型详情页有两种方式：
- 单击traffic，进入模型详情页。
- 单击AI Gallery链接，在“资产集市>数据”下，选择“数据集”，进入AI Gallery数据集页面，搜索“traffic”，进入模型详情页。
2、在弹出的下载页面中，设置目标区域和目标位置。
目标区域需与ModelArts使用区域一致。例如“华北-北京四”。
目标位置即指定数据集下载的目标路径，必须是OBS路径。选择之前创建的OBS路径。
3、单击“确定”开始下载。页面自动进入下载列表，可以通过进度列查看详细下载进度。
步骤2：查看数据集
1、进入ModelArts管理控制台，在左侧菜单栏中选择“数据管理>数据集”，可以进入数据集列表，查看到下载任务创建的数据集，单击名称左侧的小三角，展开数据集详情，可查看数据集的导入状态。当状态变为“导入完成”时，表示数据集已准备就绪。
步骤3：数据处理
1、发布数据集版本。
在执行数据选择处理前，需要先发布一个数据集版本，作为数据校验算法的输入。
- 进入“数据管理>数据集”页面，选择刚才导入成功的数据集，单击右侧操作列的“发布”。
- 在弹出的“发布新版本”对话框中，填写如下参数：
版本名称：系统默认以V001开始，也可以自行定义版本名称。
其他参数建议使用默认值，然后单击“确定”发布数据集版本。
2、创建数据处理任务。在此任务中，选择数据选择算法。
- 在左侧菜单栏中，选择“数据管理>数据处理”，单击“创建”。
- 在“创建数据处理”页面，填写如下参数，
-
- 名称：“PRE-WTJCLX”。
- 场景类别：选择“物体检测”。
- 数据处理类型：选择“数据选择”。
- 输入：数据集，选择刚才创建的数据集及其数据集版本。
其他默认，然后单击右下角的“创建”，完成数据处理任务的创建。
步骤4：自动分组
1、启动自动分组任务，并等待任务完成。
- 在左侧菜单栏中选择“数据管理>数据标注”，进入“数据标注”管理页面。
- 按照如下图配置参数，单击右下角“创建”，完场数据标注的创建
- 在标注作业列表中，选择前面创建的标注作业，单击标注作业名称进入“标注作业详情页”。
- 在数据集详情页的“全部”页签中，单击“自动分组 > 启动任务”。
- 在弹出的“自动分组”窗口中，设置如下参数:
- “分组数”：4。
- “属性名称”："wtjclx-label"。
其他默认，然后单击“确定”，启动任务。
- 启动任务提交成功后，界面右上角显示此任务的进度。当任务状态变更为成功时，表示任务运行结束。
步骤5：智能标注
1、人工标注部分数据。
在启动智能标注前，需人工完成少量数据标注，每个标签至少15张图片。
- 创建标签集
- 单击“开始标注”，进行人工标注，每种类型至少15张图片。
标注操作方法：
2、启动智能标注。
- 在数据集详情页面，单击右上角“启动智能标注”。
- 在“启动智能标注”窗口中，参数默认，然后单击“提交”。
3.确认智能标注结果。
在智能标注任务完成后，在“待确认”页签下，单击具体图片进入标注详情页面，可以查看或修改智能标注的结果。
步骤6：特征分析
1、创建特征分析任务。
- 在执行特征分析前，需先发布一个数据集版本。在智能标注并确认完的数据，单击右上角“返回数据集概览”，然后单击“发布”，发布一个新版本。
- 版本发布完成后，进入数据集概览页。选择“数据特征”页签，单击“特征分析”，在弹窗中选择刚才发布的数据集版本，并单击“确定”，启动特征分析任务。
- 查看任务进度。
任务执行过程中，可以单击“任务历史”，查看任务进度。当任务状态变为成功时，表示任务执行完成。
2、查看特征分析结果。
特征分析任务执行完成后，可以在“数据特征”页签下，选择数据集版本、类型和数据特征指标，页面将自动呈现您选择对应版本及其指标数据，可以根据呈现的图表了解数据分布情况，帮助您更好的理解您的数据。
- 版本选择：根据实际情况选择已执行过特征任务的版本，可以选多个进行对比，也可以只选择一个。
- 类型：根据需要分析的类型选择。支持all、train、eval和inference。分别表示所有、训练、评估和推理类型。
- 数据特征指标：选择需要展示的指标。详细指标解释，可参见特征分析指标列表。
体验建议
1、文档内容待更新
目前“数据管理/数据集”功能模块已经是新版，但是文档中的部分操作还在沿用旧版的，希望未来更新一下。
2、部分截图和实际的不相符
如下是文档中“启动自动分组任务”的截图
实际则是如下截图，且实际操作也是通过新增“数据标注”任务之后进行自动分组操作。
总结
物体检测类型的实验，流程看似有些长，但是其实主要聚焦在控制台的数据管理分类下，不同功能进行不同的操作。
数据管理的功能十分强大，正如前面介绍的，除了提供了基础的数据标注、版本管理能力，同时还提供了数据处理（数据选择、数据清洗等）、自动分组、智能标注、特征分析等功能。
这样一来着实帮助开发者提升了数据准备的效率。
接下来，我会实际业务场景中，如何结合华为云ModelArts的数据管理功能，创造更好的实现方案。
未来，也期待与华为云ModelArts一起实现更多的可能。
作者：非职业「传道授业解惑」的开发者叶一一
简介：「趣学前端」、「CSS畅想」系列作者，华夏美食、国漫、古风重度爱好者，刑侦、无限流小说初级玩家。
如果看完文章有所收获，欢迎点赞 | 收藏⭐️ | 留言。