这个可以有！百度大脑EasyDL新发布EasyData搞定AI开发中的数据管理问题

在AI模型开发中，数据准备往往占据了大量时间。经过长时间的调研与访问，我们发现用户常常会遇到以下问题：

• 难以获取与场景数据匹配的训练数据。在具体业务场景中，模型的效果至关重要，我们往往会追求高精度模型效果，以保证模型能做到替代人工、降本增效的最终目的。众所周知，训练数据和场景数据的匹配程度会极大影响模型表现，越贴近使用场景的数据，更有可能训练出超高精度的模型。但可能因为历史原因没有大量现场的存量数据、或者重新采集需要进行大量调研才能部署新的采集设备、又或者如果需要人工到业务现场去收集训练素材，不仅成本高，一旦业务出现变动，也很难保证数据的实时性。
• 视频场景数据采集及处理繁杂。在视频监控场景中，通常是多个摄像头覆盖多角度长时间工作，产生的视频文件体积大，处理困难。对于一个最普通的130W像素摄像头在2M码流的情况下，连续工作一天24小时，将会生成约21G的视频文件。在进行视频数据处理时，仅上传下载就会耗费大量时间。对自动视频截帧、自动上传的需求呼声越来越高。
• 数据量、丰富度和数据质量欠佳。好不容易采集到的大量业务数据，清洗也是一项巨大的工作，用户曾向EasyDL团队求助，自己采集好的图像数据以为拍摄角度问题出现了整体偏斜的情况，影响标注效果和模型效果；也有用户表示想快速去掉训练集中不清晰的图片，只保留高质量图片进行训练。这一系列数据清洗的需求也同时被EasyDL的研发工程师们关注着。

在了解开发者在数据层面的诸多需求后，百度大脑团队为开发者带来了一款全新的数据产品——EasyData。从名字即可看到，EasyData围绕“Data数据”展开，重点关注AI模型开发过程中的数据采集、数据清洗、数据存储、数据标注、数据分析等环节，解决以上开发者反馈的各类数据管理问题。

作为业内首个提供软硬一体、端云协同的智能数据采集服务的平台，EasyData可支持图片、文本、音频和视频四类数据的处理，其中图片数据支持了采集、清洗、标注一站式处理，且四类数据都已经支持将EasyData处理的数据应用于EasyDL模型训练，便于开发者直接使用。

同时，EasyData延承了百度大脑Easy系列产品简单易用的特性，界面简洁，操作流畅。随着产品的不断升级与优化，EasyData也将会提供更多的数据方向支持，持续为开发者提供更全面与优质的智能数据服务。

接下来，我们从图片数据采集、数据标注、数据清洗方面来了解EasyData的特色和功能。

【采集软件助力快速获取训练数据】

在安防监控、工业质检等诸多领域，用户的数据来源将会是摄像头或者相机，面对大量视频和图片，截帧、传输通常需要线下单独操作，费时费力。考虑到用户的这一需求，EasyData提供了一个官方采集软件，可以简单快速将摄像头的数据进行采集与截帧，并传输到数据集。目前，这个采集软件已经支持Linux、Windows操作系统，同时还支持了主流的ARM开发版RK3399。在摄像头方面，支持市面上绝大多数USB的摄像头，并同时支持RTSP网络协议的摄像头，力求最大程度覆盖用户的使用范围。

进入EasyData首页，如下图所示，在【数据采集】的【摄像头管理】中，即可一键下载本地软件。此软件支持图形化界面配置，简单易懂。用户通过此软件，可以添加设备并根据业务需求设置抽帧策略，并将图片传输至指定目录。在这两个功能的加持之下，原始图像数据接入EasyData变得十分方便，并且完成了图片的云端管理，大量节省了单独抽帧、传输的工作量。

如图所示，在下载图像采集SDK后，用户可以在EasyData平台中根据业务需求设置抽帧帧率、运行时间，提交之后，部署在摄像头的SDK将会根据设定自行抽帧，用户可在【查看云数据】中查看同步到EasyData的摄像头数据，并保存到数据集中，进行下一步处理或训练。


为了进一步方便用户使用，目前已经支持同时接入多台摄像头设备。在对摄像头进行云端管理时，用户可以查看每一台摄像头的在线/离线状态，确保摄像头在线以保证数据的上传。并且，通过筛选条件，用户可以查看单个或多个摄像头采集上传的数据。

EasyData也支持数据闭环模型优化策略，通过云服务调用获取数据，由于EasyData已经实现了与EasyDL的数据共享，这里的云服务指的是用户在EasyDL平台将模型发布为公有云API后，在授权EasyData获取API调用数据的前提下，用户可以通过EasyData查找公有云API中识别错误的数据，保存到数据集进行清洗、标注后，进行下一次模型优化训练，最终提升EasyDL公有云API调用的模型效果。
整个流程，如下图所示：

【多种标注方式省时省力】

在数据标注方面，EasyData不仅支持多类数据、多种模板的人工标注，还支持智能标注。只需用户进行少量关键数据的操作（通常为完成30%左右的数据标注），即可一键化完成剩余数据的处理，在多轮标注之后，可以保证模型训练效果的持平，大大降低了数据标注的成本。目前已上线图像分割和物体检测的智能标注，不久将加码文本智能标注。

在多人协同标注方面，EasyData可以和百度众测进行对接，未来还将推出全新的多人标注，让用户在平台直接进行标注任务的管理、分发和验收，更为便捷地完成协同操作，在短时间内完成对大量数据的处理。

【智能清洗快速提升数据质量】

在影响模型效果的诸多因素中，数据质量始终是一个关键问题。尤其在众多使用EasyDL进行CV方向模型开发的用户中，图片的清晰程度、被检测物体的具体位置都会对模型的最终表现产生影响。

数据清洗是很多用户期待已久的功能。EasyData不负众望，为用户提供了这一服务。在图像方向，EasyData为用户带来了去模糊、去近似、旋转、镜像和裁剪等清洗和处理功能。其中，去模糊、去近似、裁剪等功能非常试用于视频数据抽帧后的原始图片数据处理，适用于视频监控等业务场景应用获取高质量数据。

• 去模糊：在使用去模糊功能时，可以在图片上方看到一个清晰度调整条，通过拖拽圆点选取对应清晰度取值，将会仅保留清晰度高于此值的图片。以下图为例，当我们选择“保留清晰度大于等于此值的图片：4959”时，仅有最右侧清晰度为5000的图片被保留下来。
  
• 去近似：与去模糊相似，用户可以在图片上方看到一个近似度选取条，通过拖拽圆点选取对应相似度取值，只会保存相似度高于此值的图片。以下图为例，当用户选择“两图相似度大于等于此值保留一张：0.57”时，仅有相似度为0.75的第一张图将会被保留下来。
  
• 旋转：根据示例中参考图片，通过下拉框可以选择不同的顺时针旋转角度，最终针对所有图片做旋转操作。
  
• 镜像：水平镜像是指将图像的左右部分以图像垂直中轴线为中心进行镜像对换；垂直镜像是指将图像的上下两部分以图像水平中轴线为中心进行镜像对换；中心镜像是指将图像以图像水平中轴线和垂直中轴线的交点为中心进行镜像对换，相当于将图像先后进行水平镜像、垂直镜像。根据示例中参考图片，通过下拉框选择不同的镜像方式，最终针对所有图片做对应镜像操作。
  
• 剪裁：在随机图片中通过拖拽裁剪框边缘各点调节框大小，最终针对所有图片只保留框选出区域。
  

需要注意的是，考虑到用户数据的重要性，用户在进行数据清洗之后，可以选择保留清洗前后的两个数据集，而非只能将清洗掉的数据进行彻底删除。目前，数据清洗已经支持了CV方向，在未来EasyData的不断优化中，将会覆盖更多方向，预置更为丰富的处理和清洗能力。

为了方便用户在模型的开发中可以更好地借助EasyData的能力，进行高效精准的数据处理，EasyData与EasyDL的模型开发和训练流程已经实现了无缝对接，支持数据集直接引用到模型训练任务中，一站式获取高精度AI模型。用户可以在EasyData进行数据采集、上传与数据清洗等处理工作，无需单独在本地进行数据处理再上传，节省了操作时间，在操作界面和流程上也更为顺畅。

EasyData的目标，旨在为用户提供一站式智能数据服务，从数据采集、上传，到数据的标注、清洗，覆盖数据管理全流程，使用EasyData一键完成数据准备，缩短模型开发时间，并帮助用户在更优化的数据加持下，训练出效果更佳的AI模型，更好地赋能各类业务场景，加速AI落地。

立即搜索EasyData，或点击https://ai.baidu.com/easydata/，即可体验。