百年奥运的凌空之美，AI 云智剪背后的新算法

奥运赛事每天都在上演冰雪奇迹，而捕捉发生瞬间，凝结最精彩、最动人的体育人文画面，让“冰之舞”、“雪之舞”、“速度之美”、“凌空之美”如盛宴般绽放，让“金牌时刻”与“国将风采”变成永恒回荡时空。而实现这一切的，源自阿里云视频云AI编辑部提供的云上智能生产能力——AI云智剪。

如果说，2022冬奥开幕式是一场中国对世界讲述的故事，展开的是中国式的浪漫，那冬奥会的瞬间之美，更像是记载历史的青川木牍，展开的是人物和故事的不凡之巅。

北京冬奥已接近尾声，各项赛事全面而展，冰雪奇迹每日上演。此次冬奥赛事，中国代表团首次实现7个大项15个分项“全项目参赛”，其中35项是首次站上冬奥舞台，如此之多的赛事内容也为奥运的视频生产提供了丰富素材。

为了在冬奥赛事短视频内容时兼顾实效、精彩、人文、美学，央视体育新媒体和总台技术团队联合阿里云视频云、阿里巴巴达摩院，引入AI编辑部的智能生产工具“AI云智剪”，可以实时完成多赛事的智能内容理解，在极短时间内智能化自动生成大量精彩视频素材，覆盖赛场动作、赛事内容、各类镜头等多个描述维度，生成美学主题的集锦素材。

自由式滑雪女子大跳台，单板滑雪男子大跳台、花样滑冰中，中国选手苏翊鸣、谷爱凌、金博洋、隋文静/韩聪等均表现出色，无论是金牌，还是对自我的突破，其传递的冬奥精神在这个冬日里如烈火般鼓舞人心。

AI云智剪在比赛完成的第一时间就对视频内容进行了多维度解析，完成了精彩素材生成，同时基于跨视频集锦生产能力，第一时间为观众生产主题集锦视频，截至目前已经自动化处理200+场比赛，生产素材片段达3万段以上，生成的大量主题式视频在央视体育新媒体上即时呈现，迅速传播。

在体育赛事内容传播上，AI云智剪可以高效、快速、全面地为冬奥赛事播报提供强大的生产力，快速抢占发布先机，也为全球赛事观众带来及时而优质的赛事体感，同时也为媒体行业深度开发体育媒体版权内容价值，创造了更多可能性。

针对奥运赛事内容，AI云智剪设定了丰富的美学主题智能模板，如针对冰球、花滑、速滑、短道速滑等，设置主题“冰之舞”，针对单板滑雪和自由滑雪，打造主题“雪之舞”，同时，从速度型赛事的特殊视角，如花滑的旋转、冰球的进球等，呈现“速度之美”，而对于跳跃性动作丰富的滑雪赛事，塑造“凌空之美”，可谓通过智能化视频云技术，全面捕捉赛事瞬即间的美学光影。

科技冬奥的新内容生产力

AI与机器学习在体育媒体视频生产领域的应用是产业的大势所趋，随着数字化媒体的高速演进以及受众媒体内容消费习惯的持续更迭，碎片化的短视频内容已经成为各内容消费领域的主流，体育媒体内容领域也不例外。

此次冬奥会更是以科技冬奥为主旨，AI在其中的作用至关重要，基于AI编辑部，其云上智能生产能力“AI云智剪”在赛事内容生产中发挥了巨大价值，已俨然成为科技冬奥新内容的生产力。

以比赛本身为核心，AI云智剪通过对赛事内容的精彩信息进行定义、提取，从比赛视频、解说词音频、人物场记等各个维度进行识别与分析，并利用多模态融合技术，从实现复杂场景下的特色集锦效果。AI云智剪可以对体育赛事视频进行高效的AI内容分析，可以实时生成多种类型的集锦内容，除了精彩动作镜头、运动员集锦等单赛事中的重要片段以外，还支持国将风采、凌空之美、小将出征等多种复杂主题类型的集锦视频生产，实现视频内容解析、多类型视频素材生产、跨视频的复杂主题视频生成的多层级短视频生产能力覆盖。

AI云智剪依靠阿里云视频云强大的流媒体处理能力，可以保证每场比赛的精彩集锦，在3-5分钟内生成，再由平台快速发布出去，极大提升了媒体抢占先机的能力和大众尽享冬奥赛事的体感。
图1 AI云智剪流程图

如上图所示，AI云智剪的智能生产过程，主要包含两个步骤：

第一，AI模型要对赛事视频进行理解，基于在AI领域的长期积累，AI云智剪可以对多种体育赛事进行细粒度行为、赛场事件、人文事件、镜头类型的深度理解，同时对视频片段进行美学评价、动作精彩度评价、多样性评价，这等同于整个系统的眼睛和大脑，只有看得多、看得细、想得全、想得快，才可以在激烈的冬奥赛场上，为观众们尽快呈现精美绝伦的内容。第二，基于AI模型输出的各类型片段和多指标评价，素材生产模块会基于符合权重进行素材选取，生产大量精选素材，同时也输出多种主题集锦素材。

同时，为了响应绿色冬奥的主题，AI云智剪首次采用了单视频理解模型，对多赛事、多来源、多种类的视频进行内容解析、多类型视频素材生产、跨视频的复杂主题视频生成的多层级短视频生产。

该视频理解模型有三点突出的内容价值：

• 可以对横跨自由式滑雪、花样滑冰、单板滑雪、冰球、速度滑冰、短道速滑等多个赛事中的众多细粒度动作进行识别，捕捉精彩瞬间；

• 可以对赛事视频中的非竞技动作进行识别，感知观众的欢呼、选手的情绪、颁奖夺金等关键时刻；

• 可以对镜头类型进行区分，进行多类型素材的智能化组合。

将完成如此多重复杂的任务重担放在一个模型里，这也对AI云智剪的AI模型泛化能力带来巨大的挑战。
冬奥云上新内容背后的新算法

通过AI云智剪呈现新内容，冬奥的云上智能生产运用了全新的智能算法技术。从本质逻辑上，AI云智剪是基于智能算法模型，对视频赛事进行解构、解析、评分，最终再基于多样性策略，以及AI模型输出的多样性评分进行智能化的视频素材生成。

正是依托前沿技术，AI模型可以在较少的计算资源需求下，实现多赛事、多来源、多种类的视频进行内容解析、集锦素材生产。

协同阿里云视频云的技术输出，阿里巴巴达摩院的算法工程师采用了阿里巴巴最新研发的预训练模型技术LOOK（该技术已经被人工智能领域顶级会议ICLR 2022录用）。相比于常见的训练方式要求所有的同类别样本特征接近于一个中心特征，LOOK可以在模型训练过程中仅要求接近的同类样本更加接近，保留更多的特征自由度。

可以认为，这是从一个“求同去异”到“求同存异”的过程改进，正因为在训练过程保留了更多的有效信息，也使得模型特征的表示能力更加通用，最终基于这一个通用表征的基础模型，构建了多个轻量级的多分枝任务模型，去完成多项任务。

因为共享了同一个基础表示模型，在计算消耗上多个任务分枝比单个任务分支增加的额外计算负担几乎可以忽略不计，但却可以和直接使用多个模型达到同样的AI能力。

正是基于这一技术，AI云智剪更快更高更强地支撑起冬奥会的短视频生产任务。
图2 预训练模型技术LOOK示意图

在使用预训练模型技术以外，由于此次冬奥会视频数据是模型“从未见过”的数据，为了保证模型的鲁棒性和计算结果的稳定性，阿里巴巴最新研发的开集识别技术NGC（已被计算机视觉顶级会议 ICCV 2021 录用为口头报告）也被引入其中。AI模型会同时利用模型预测的置信度和特征的几何结构，来共同决定最终结果，这也使得AI云智剪虽然是第一次在冬奥会上登场，但也是相当的“稳”。

图3 开集识别算法NGC示意图

此外，阿里巴巴达摩院在视频理解领域积累了大量技术，包括基础模型表征，时序特征建模、自监督表示等，通过阿里云视频云AI云智剪的能力输出，均在这次冬奥会中展露头脚，也被开源在EssentialMC2技术框架（https://github.com/alibaba/EssentialMC2）中，以此致力于推动视频内容理解领域社区的技术发展。

多次创造顶级赛事新视听

早在2018年世界杯期间，阿里云视频云AI编辑部就聚焦于利用“视频AI+云剪辑+媒资管理”的技术，实时生产精彩集锦和球星集锦，满足球迷们的重温赛事和追星的需求。

在2018年世界杯上， CCTV5采用了阿里云视频云AI编辑部的视频AI技术，实现对第一脚传球检测、回放检测、危险射门检测、犯规检测、运动轨迹分析及进攻节奏分析等，用AI技术替代了庞大复杂的高清现场制作设备，高效实时地产出赛事集锦，让精彩不容错过。

经过四年的技术锤炼和产品打磨，AI编辑部已陆续支持足球、篮球、冰壶、花样滑冰、短道速滑、滑雪等多种赛事的特色集锦和主题生产，帮助用户有效提高视频的生产效率，让内容更快速、更精彩，也更有优美之感。

冬奥赛事接近尾声，AI编辑部的视频AI技术在本次奥运会中成功落地，这是赛事应用的又一里程碑，也是视频AI应用于体育行业及更多其他行业的广阔开端。经历了对百年奥运如此大型赛事的技术保障，阿里云视频云能更成熟、稳定地应对赛事场景下的视频分析与处理，AI技术也将渗透到各个行业中，帮助行业客户高效提升新内容的生产效率，让每场赛事都拥有全然不同的新视听体验，也让赛事的人文美感由此绽放。

【AI编辑部】
作为阿里云视频云的智能媒体生产产品，AI编辑部是智能时代内容生产行业的基础设施，是可本地化交付的端到端产品。AI编辑部交付面向新媒体的智能化内容生产流水线，借助大数据技术和人工智能，实现视频稿件、图文稿件的自动化、批量化、智能化生产，从而更快、更好、更广地为抢占新媒体市场服务。

【AI云智剪】
作为AI编辑部面向体育赛事主题集锦的智能生产能力，AI云智剪能够在赛事直播过程中实时生产素材，为精彩赛事提供优质高效的短视频内容生产技术。

阿里云视频云多媒体AI体验中心

「视频云技术」你最值得关注的音视频技术公众号，每周推送来自阿里云一线的实践技术文章，在这里与音视频领域一流工程师交流切磋。公众号后台回复【技术】可加入阿里云视频云产品技术交流群，和业内大咖一起探讨音视频技术，获取更多行业最新信息。