山东大学项目实训小组一——基于深度学习的AI视频剪辑器“易剪”

技术要点：图像处理 计算机视觉 深度学习 多媒体前端

一、项目研究背景：

随着短视频热潮的兴起，越来越多的人投入精力到了视频剪辑视频制作之中。然而利用现有的视频剪辑工具，剪辑一段视频是非常麻烦的，尤其是视频剪辑前期阶段，查找素材、导入、粗剪辑，视频中庞大的内容资源难以检索，素材分散，查找难度大，重复性工作耗时费力，导致一系列问题，例如：降低了内容的精准度；增加了时间和人工成本；长视频资源堆积，导致很多优质内容埋没失去价值。尤其是针对缺乏专业人士助力的中小企业品宣部、个人视频剪辑爱好者，站在创作者的角度来看，重复、机械化作业过程居多，导致工作效率低下是其最大痛点。
而AI技术在视频剪辑领域的落地应用，将大大节省人力、提高效率。我们团队意图打造一款背靠AI技术快速生产视频的“智能剪辑”应用。通过对视频深度理解，智能提取高能片段，基于内容自动混剪，节约大量人力成本，提高短视频制作效率和原有视频利用价值。

二、研究现状

目前已存在一些长视频主要内容缩减成片段组成短视频的相关工作，主要分为两大类别：
第一种是直接提取视频中的关键帧合成新的视频，该方法虽然也可以缩短视频的时长，但是合成后视频给人一种快进看电影的感觉，而且实际使用较少，所用的方法包括SEDIM，SEDIM-IN，CEA，TEA等方法
第二种称为视频浓缩，是对视频内容的一个简单概括，以自动或半自动的方式，先通过运动目标分析，提取运动目标，然后对各个目标的运动轨迹进行分析，将不同的目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合。
然而目前的工作仍未涉及之后的视频片段关系网络建立这一阶段。而我们希望达到的目标就是在利用算法获取关键gif片段后，可以建立起这些gif片段之间的关系网络。这样在用户截取新的一帧后，可以快速检索到其相关的所有视频片段，提供给用户完成粗剪辑过程。

三、拟采用的技术路线

1）基于场景对视频进行划分
首先我们希望将视频根据场景的特点划分成不同的片段，这样最终返回给用户的结果，是包含各个转场的关键视频片段，而非盲目地将剪辑出全部片段。关于进行划分的算法我们进行了初步的调研，预计主要借鉴论文” A Local-to-Global Approach to Multi-modal Movie Scene Segmentation”（Rao, A. , et al. IEEE 2020）。其基本思想是通过三个阶段执行场景分割：首先从多个效果中提取镜头表示，而后根据集成信息进行局部预测，最后通过解决全局优化问题优化镜头分组。这部分算法今后还会继续调研实验，以达到最优的效果。

2）利用视频摘要算法获取关键帧
在前一步已经划分出视频的不同场景片段后，下一步的主要工作就是提炼出每一片段的关键内容，需要运用到视频摘要算法。视频摘要技术在不同视频对象中的研究分为三大类：基于结构化视频的传统视频摘要技术、监控视频摘要技术、面向用户视频或第一人称视角视频的视频摘要技术。生成视频摘要的主要流程分为三步：视频预处理、帧特征提取、关键帧提取。

3）以关键帧为中心前后扩张得到视频片段
通过上一层视频摘要算法寻找到的关键帧，可以此关键帧为中心分别向左和右拓展一定时间，划分的区域组合为新的gif片段以供下层算法使用。同时可以做镜头检测的拓展来寻找该关键帧所在的转场镜头，防止影片过短导致关键帧前后简单的拓展会导致超出镜头边缘。传统的镜头边界检测方法是基于直方图差异或帧差值进行边缘检测。可以尝试结合两种方法快速找出镜头边缘的研究。

4）视频片段关系网络建立
项目初步预期首先完成人物识别任务：需要建立一个人脸库，以人脸的特征信息为索引，建立关于人物的关系。首先遍历分割出的所有GIF，对每个GIF进行人脸检测和人脸匹配，每检测到一张人脸，检查其在人脸库中是否已经存在，如果不存在，建立一个新的关系并把该GIF片段放入到这个关系中，如果已经存在，将GIF直接放入这张人脸的关系中。选中截图中某个人物后，进行特征提取，与人脸库中的人脸进行相似度检测，得到与该任务相关的所有GIF片段。
主要物品以及场景的识别工作根据后续项目开展情况选择性进行。

四、具体分工

前端界面编写及后台联调
基于场景的视频划分算法研究编程
视频摘要算法研究编程
关键帧前后扩张算法研究编程
视频片段关系图建立算法研究编程

成员个人博客地址：
方新悦 https://blog.csdn.net/fangjiayou?spm=1001.2014.3001.5343
刘凯 https://blog.csdn.net/weixin_46639190?spm=1001.2100.3001.5343
王月群 https://blog.csdn.net/May121812345?spm=1001.2100.3001.5343
李文文https://blog.csdn.net/weixin_46449172?spm=1001.2100.3001.5343
孙一凡 https://blog.csdn.net/Dream_Glow?spm=1001.2101.3001.5343