Coovally任务详解之实例分割任务

实例分割（Instance Segmentation）是视觉经典四个任务中相对最难的一个，它既具备语义分割（Semantic Segmentation）的特点，需要做到像素层面上的分类，也具备目标检测（Object Detection）的一部分特点，即需要定位出不同实例，即使它们是同一种类。

但是通过Coovally，即可轻松完成实例分割任务，让我们一起来看看吧~

说明：当前实例分割任务仅支持COCO格式数据集,请提前按要求准备好数据集，具体数据集要求可参考COCO格式数据集说明。

COCO格式数据集说明

COCO数据集简介

COCO数据集是一个可用于图像检测（image detection），语义分割（semantic segmentation）和图像标题生成（image captioning）的大规模数据集。它有超过330K张图像（其中220K张是有标注的图像），包含150万个目标，80个目标类别（object categories：行人、汽车、大象等），91种材料类别（stuff categoris：草、墙、天空等），每张图像包含五句图像的语句描述，且有250,000个带关键点标注的行人。

同样地，COCO数据也有其同名的数据格式标注规范。在Coovally平台中，COCO格式主要适用于目标检测、语义分割和实例分割任务。

COCO格式数据集准备

Coovally平台会自动切分训练集和测试集，将COCO数据集格式数据按照一下数据目录层级结构放置即可：

 以instances_train2017.json为例，标签目录annotations文件夹下应包含一个名为instances_train2017.json的json格式标签文件，images文件下放置需要处理的图像数据。

下面对json格式标签文件进行介绍：

json格式标签文件内容

 说明：

• images保存图片部分信息；

file_name图片名；

Height图片高度；

Width图片宽度；

Id图片id；

• annotations保存标注信息，包括bbox和segmentation；

area多边形所围成的面积；

iscrowd，0：单个物体，1：多个物体的集合体；

iscrowd=0时，segmentation将使用polygons格式;

iscrowd=1时，segmentation将使用RLE格式;

image_id图片id；

bbox标注框[x, y, width, height]；

segmentation会标注多边形所有点的x坐标，y坐标；

category_id类别id；

id标签id；

ignore，是否忽略，默认为0；

• categories包含样本标签和ID的对应关系。

• 1. 数据上传

• 1.1图片上传

  图片数据准备

  目前Coovally支持两种数据上传方式：

  ·图片文件和标签文件都打包压缩成一个zip文件上传，待数据集创建成功之后，Coovally系统会自动识别并生成标签；

  ·先单独上传zip格式图片文件，待数据集创建成功之后，在数据集详情页再单独上传zip格式标签文件。

  图片数据上传

  登录Coovally点击侧边导航栏并下拉菜单点击【创建数据集】。

• 

   点击【创建数据集】，按要求填写参数，并将此前准备好的图片压缩包拖至文件上传区域，点击【确定】，等待图片数据上传并解析完成即可；

  注意：需记住所填写的数据集名称，在创建标签时，需根据数据集名称找到对应的数据集。

•  1.2 标签上传

  标签数据准备

  将数据中的标签文件所在文件夹压缩为zip格式的压缩包；

  标签数据上传

  在【我的数据】标签页，找到刚刚上传的图片数据；点击【图标】进入数据集信息页，点击【创建标签】，再按要求填写参数，将标签压缩包拖到【文件上传】区域，最后点击【确定】，等待完成解析即可；

•  数据检查（非必须步骤）

  待图片及标签全部完成上传及解析，即可点击【标签预览】，进行标签预览，可检测标注是否存在错标、漏标等问题。

  2. 模型训练

  2.1 数据建模

  基于此前已完成上传的数据集，进行数据建模，点击数据建模图标，进入数据建模详情页面。

• 

   2.2 模型选择&参数设置

  按要求选择模型填写模型参数；并设置训练运行参数。

• 

   点击【增强算法】进入算法增强页面，筛选所需要增强的标签类型及数据增强方法，进行数据数据增强，此操作非选操作，但当数据量较少，或数据不均衡的情况下可尝试进行数据增强，以提高模型精度。

• 

  2.3 模型训练

  点击开始训练，即可开始模型训练，待模型训练结束即可开始此后的模型转化、部署、推理等操作。

  3.模型转换

  注意：此处仅为模型转化步骤示例，详细信息可参考Coovally官网文档。

  点击【模型转换】，进入模型转换页面，按要求选择及填写参数，点击【开始转换】即可开始进行模型转化，等待模型转化完成即可。

  注意：等待模型转换期间，切勿刷新页面！

• 

   4.模型部署

  在模型转化完成后转跳的界面点击点击【模型部署】，开始模型部署。按要求选择服务地址，再点击【部署】，等待部署完成。

• 

   5.模型推理

  在模型部署完成后转跳的界面，点击【上传图片】按要求上传图片，系统即可对此图片进行模型推理，且实例分割结果会直观的显示出来。

• 

  实例分割与语义分割都属于图像分割的范畴，图像分割技术有助于理解图像中的内容，并确定物体之间的关系，因此常被应用于人脸识别、物体检测、医学影像、卫星图像分析、自动驾驶感知等领域。

  在我们生活中，图像分割技术的应用实例也很常见，如智能手机上的抠图相机、在线试衣间、虚拟化妆、以及零售图像识别等，这些应用往往都需要使用智能分割后的图片作为操作对象。