【阿里云高校计划】AI训练营_Day01_视觉生产技术探索与应用

前言：本系列博客是参加阿里云AI训练营的学习笔记
学习视频地址：https://developer.aliyun.com/live/2761?spm=a2c6h.14795454.J_4770946980.3.26b15794fuj4mf
文章中的图片均来自于视频截图或者视频对应资料 “阿里云AI训练营.pdf” 中的图片

视觉生产技术概述

1. 视觉生产定义

通过一个/一系列视觉过程，产出新的视觉表达

• 产出：人和机器能够感知的图像视频，而不是标签或特征
• 要求：新的，和输入不一样的

2. 视觉生产_分类

生成：从0到1

拓展：从1到N

摘要：从N到1

升维：从An到An+1

3. 视觉生产_通用基础框架

主要包含请求（Request），分发（Dispatch），服务（Service）和响应（Response）4个部分

3. 视觉生产_5个关键维度

精细理解

如果想生产一个视觉，首先我们要理解输入的视觉，也就是需要精细的理解视
觉。“理解”其实包括如下几个过程：
● 识别：知道是什么，比如人的识别、物的识别；
● 检测：识别 + 知道在哪，比如缺陷检测、多目标检测；
● 分割：识别 + 检测 + 知道每一个像素是什么

1. 分割抠图_模型框架

基于分割抠图技术，我们可以对分割进行拓展，进行多式多样的分割，比如对人
的分割，可以从图像中分割出人的头像、单独分割出头发、单独分割出人脸等，更进
一步，除了静态图像的分割，我们甚至对视频进行分割，在动态的视频中提取人物。
类似的，对于动物分割、车辆分割、商品分割、动画分割等，我们也可以进行相应的
拓展，来丰富我们的分割粒度。另外的，对于场景抠图，比如天空分割，我们把天空
分割出来的同时把人物、物体等分割出来，进行场景分割的拓展。

视觉生成_从无到有

1. 视觉生成_框架流程

2. 视频生成_框架流程

视觉编辑_移花接木

一个视频，能不能变成另外一个？这就要用到视频编辑技术，主要包括增删查改
等功能。

1. 视频植入

视频植入就是在视频中加入一些本来没有的内容，当前其应用最广泛的就是广告界。
视频植入是一项非常复杂的技术，需要考虑到方方面面，比如广告位检测、广告位跟踪等等，有时会遇到遮挡、移出屏幕等复杂情况跟踪，而且在视
频植入之后还要考虑广告是否能够跟视频细节匹配、光影渲染等问题。

2. 视觉内容擦除

上面视频植入是增加一些东西到视频中，有时候我们也要从视频中擦除一些东
西，比如字母擦除、台标擦除、广告擦除等等，其核心挑战是分割，只有更精确的分
割才能够精确的擦除。

3. 画幅变化

有些时候我们需要对视频进行修改，比如某段视频在拍摄的时候是在 4：3 的情
况下进行的，在 ipad、PC、手机上面播放的时候出现了尺寸不匹配的情况，这时
候就要进行画幅变化，变化之后为了有完整的视觉效果，需要进行内容补全，如下
图所示。

视觉增强_修旧如新

视觉增强就是对视频的内容进行一些改变，以达到视频某些方面的改善效果。

1. 视觉增强实例

（1）人脸修复

人脸是最重要的目标对象，对人像进行细节修复增强，有很重要的意义和价值，
如下图所示，可以用视觉增强技术对人脸进行修复增强，突出主要信息。

（2）渲染图超分

CG 渲染时间几乎与图像分辨率成正比，高质量真实感渲染需要 30 分钟才能生
产一张图像，针对 CG 渲染流水线研发的超分辨率技术可以把低分辨率图像放大到与
高清原图一样的清晰度。

（3）视频超分

除了对图像进行超分外，我们还可以对视频进行超分，使得视频更加清晰，增加
显示效果。

（4）视频插帧

对视频进行插帧，一般的视频可能感受不到效果，但是在运动的场景、网络不好
的在线视频等场景，对视频进行插帧可以有效的减少视频的卡顿感。

（5）HDR 色彩扩展

除了帧率之外，色彩也是一个很重要的元素，也是视频高清的一个必要条件，运
用视觉增强技术可以很好进行 HDR 色彩扩展，增强视频显示效果。

（6） 风格迁移与颜色拓展

视觉增强还可以用来进行风格迁移，比如某些相机软件，可以将一些名画的风格
迁移到用户所拍摄的照片上，实现照片的风格多样化。

视觉制造_由虚入实

视觉制造的核心逻辑如下图所示

上面整个过程的用到了多种技术，比如包装几何生成、服装几何生成、材质纹理
的多样化生成、视觉迁移及融合、多样性拓展等等。如下图所示，在得到物体或者商
品的模型之后，利用 2D3D 融合，还可以将其与背景或者其他商品结合在一起，直接
渲染效果图和商品的打样工作。同时，我们还可以完成从 3D 到 2D 的转换，形成一
个闭环，对行业效率有了大大的提升。

阿里云视觉开放平台

最后再提一下阿里云的视觉开放平台。

有兴趣的小伙伴可以尝试一下，对萌新比较友好呦！

最最后，贴一张阿里云高校计划的二维码