媒体领域AI能力测评，黑白图像上色、一键微笑哪家强

为老照片进行还原

最近看了36氪最新发布的 “重温父辈的爱情，揭秘AI还原老照片背后的技术”分享视频，视频中一张张年代久远的黑白结婚照，通过应用 HMS Core的技术进行AI着色、再进行一键微笑处理，就使得这些承载着记忆的老照片焕发了新的光彩，更加生动鲜活。

                         图像素材来源：36氪

作为 AI 领域图像算法工程师，博主墨理，一直在持续关注和追踪业界最新的前沿技术，随着近些年、AI着色、老照片还原、人脸表情编辑、视频清晰化等 AI 技术的飞速发展，各大厂商也相继提供了 AI开放平台 供用户和开发者体验使用。

本文将以我所关注到的华为的HMS Core 视频编辑服务（Video Editor Kit）为支点， 为大家简要介绍 AI 媒体领域相关技术，并就 华为、百度、阿里、字节、Adobe 等知名企业的 AI 相关技术（AI 着色、一键微笑） 的效果展开初步体验和评测 。

好玩的 AI处理技术

AI 着色：效果评测

当前AI着色技术在互联网视频处理、图像处理 App 和 软件（Adobe Photoshop） 中都有相应落地场景，带给用户多彩的 AI 技术体验。

本次评测所用到的主要AI着色能力如下

• 华为 HMS Core视频编辑服务 –AI着色
• 百度 - 黑白图像上色
• 阿里云 - 图片上色
• Adobe Photoshop 22.0 版 - 自动上色

采用的测评方式如下

• 选取多种场景下的示例图像（风景、人像、动物、植物）
• 原图处理得到灰度图，作为在线SDK测评接口的输入
• 生成得到对应的着色后彩色图像

从以上的示例图像着色对比中，总结如下：

• 当前通过AI着色模型推理渲染得到一张视觉效果良好、且着色效果符合或者接近实际场景的图像，目前从技术上而言关键瓶颈已经突破；

• Adobe Photoshop 作为专业的图像处理软件，他们的AI着色技术也相当给力，在此次对比中可以看到 Adobe 在人像着色场景中表现相当优异；另外百度在着色夜景时也没有出现偏色的情况；而阿里在着色香蕉时，饱和度高，色彩鲜艳明亮。华为 HMS Core的 AI着色 技术 对主体突出的图片着色效果较好，生成的图像，着色更加准确自然，无论是在风景、人像、动物、植物等多种场景都准确识别物体，并保证着色合理自然；

• 相对于其它几家着色效果而言，华为 HMS Core的AI着色 技术相对更加稳定，在大部分场景任务下，都能够较好地对灰度图像进行合理地着色，生成得到更为合理和自然的着色图像。

在36氪的视频中介绍中，我了解到了华为是如何优化AI着色效果的：

• 使用了百万级大规模数据集对模型进行充分训练，全面覆盖到多种多样的使用场景，提升不同场景下的扩展性；
• 对算法模型进行了精心设计，使得模型大小不影响用户使用速度的情况下还保证了着色效果；
• 针对着色任务中的肤色偏红、颜色暗淡、颜色不合理等问题，设计了针对性的损失函数，使着色结果更准确。

另外，从技术上，我们可以看到，就目前而言，无论是华为、还是百度、阿里、Abode，当前的AI着色，都没有做到着色后的图像和原图色彩度的完全一致，那是因为AI其实无法准确获知物体的原色，而着色的最终目的并非一定要100%还原真实颜色，而是保证还原着色的合理性即可。

一键微笑 ：人脸属性编辑

人脸属性编辑，即改变人脸的某些属性，比如姿态、年龄等，或者将人脸图转变为具有特定风格的图像（人脸化妆去妆、人脸年龄的更改、人脸卡通头像生成、换脸等）。这项技术当下在人机交互、短视频等娱乐社交领域有着广泛应用。笔者此次主要关注了人脸编辑中的一键微笑任务。

华为一键微笑技术在实际图像应用场景中，能够自动检测用户照片中的人像，对表情进行修改，提升开心程度；可由不笑到抿嘴微笑，也可张嘴露齿。

                       图像素材来源：36氪

下面选用不同年龄段的正面人脸示例图像，分别采用华为、字节、美图等平台的微笑人脸生成技术进行一键微笑测试、生成效果汇总如下：

从生成效果可以看到：

字节对于年轻女性的微笑处理较为合理；美图对于三张图片的微笑处理较为含蓄，虽然没有露齿笑，但在微笑生成过程中用户可以自由调节微笑程度；华为的人脸表情更为自然，既可以做到自然露齿而笑，也不会让人有整个上牙龈过度露出的感觉（儿童照片的一键微笑对比中，明显可以看到华为一键微笑生成得到的孩子的牙齿更符合其年龄特征），而且可以做到在原有表情的基础上增加合理的开心程度。另外，华为的一键微笑没有过分扭曲的现象，除了面部关键部位特征外的其他区域很好地得到了保留。

                      图像素材来源：36氪

对于人脸微笑编辑生成任务而言，高质量真实人脸数据库的缺失属于当下的一个主要技术难点。我了解到：华为 HMS Core 研发团队基于多年对人脸生成模型的研发和积淀，结合算法利用部分真实人脸图片，生成大量的虚拟人脸数据集从而解决了数据集获取困难的问题。庞大的高质量人脸数据库是算法模型良好训练的基础，数据集中包含的人脸越多越丰富，AI算法就能学到越多的人脸特征，让输出结果更精准。

同时，从本次测评图像对比中也可以看到，并非所有图像都适合一次性编辑到开口大笑的状态，华为算法模型能够自动挖掘微笑表情控制特征，进而能够较好的匹配当前图像的面部表情，使得每次微笑编辑都是在原有图像尺度上增加开心程度，生成一系列不同开心程度的笑脸（又叫“开心数据对”）。而在微笑人脸生成过程中，华为自研算法模型能够非常好地控制编辑区，保证其他无关区域不被修改。最终，挑选出最像本人、最自然的笑容。

HMS Core 视频编辑服务

本章节，为大家简单介绍 HMS Core 视频编辑服务 的强大 AI 视频图像处理能力：

功能介绍：素材丰富，4K 导出

• HMS Core视频编辑服务当前已经提供了AI着色、专属滤镜、人物追踪、一键染发、动态照片和人脸遮挡等AI媒体功能，也将这些功能陆续应用在了华为官方应用花瓣剪辑中。作为应用开发者，我们可以在视频剪辑、旅游出行、社交互动、电商产品展示等多种场景中，集成 Video Editor Kit来快速实现AI媒体处理功能；作为视频剪辑用户，我们也可以用花瓣剪辑来快速剪辑出我们想要的大片效果。
• HMS Core 视频编辑服务的“一键微笑”功能近期会在华为开发者联盟官网上线，有兴趣的开发者可以接入尝试。
• 除此之外，HMS Core 视频编辑服务能够支持多视频/图片的导入，可随时调整片段的顺序时长，实现多分辨率导出，最高支持输出4k的视频分辨率和60fps的帧率。

AI 能力 ：超出你的想象

集成方式：多种接口灵活选择

目前，HMS Core提供了两种视频编辑服务的集成方式，开发者可根据使用场景选择不同的集成方式获取视频编辑能力。

1、视频编辑UI SDK，提供产品级UI界面，集成简单；
2、视频编辑原子能力SDK，提供数百个底层能力接口，包含多个AI算法能力接口，可根据业务场景灵活选择。

科技使生活更美好（忆往昔看今朝）

优秀的视频编辑服务，不仅能够记录我们现在的生活，还能够让我们穿越过去，和时空对话。对视频剪辑、AI 着色、一键微笑等技术感兴趣的小伙伴们可以 登录 华为开发者联盟官网-视频编辑服务，实测仅需几分钟，即可上手 HMS Core 的视频编辑能力，用 AI 点亮记忆中的美好瞬间。

• 此次博文分享，希望能够带给大家一些 AI 技术上的知识拓展

• 各位在 AI 之路上摸爬滚打的小伙伴们，我们一起加油，砥砺前行，相信终将迎来属于 AI 时代的绚烂多姿

• 作为全网最为干货的 AI 博主之一，为感谢各位读者大大长期以来的支持和关注，义务帮助3位读者进行一张老照片还原处理（直接和博主墨理私信即可）

最后做个总结，借助 华为 HMS Core视频编辑服务，我们（AI 应用开发者）可以做些什么有趣的事情呢

• 通过此次测评，我们可以看到， 华为 HMS Core 视频编辑服务 在AI着色和一键微笑等AI图像处理领域持续取得新的突破，带给我们这些开发者更为完善和良好的功能体验。
• 在视频图像处理任务中，添加专属滤镜、一键染色、人物追踪、AI着色、一键微笑等 AI 图像处理能力都可通过集成原子能力服务SDK实现，开发者仅需几行代码就可快速集成到我们自己的应用 App中。
• 因此对于AI 应用开发者而言，大家可以直接点击 华为 HMS Core 视频编辑服务 进行体验，并借助官方提供的丰富的 开发指南 和 API参考 快速适配和落地我们当前想要加入到自家产品的 功能。