阿里云AI如何助攻世界杯？视频集锦背后的技术实践

摘要： 本届世界杯互联网直播的顺利进行，离不开各大云计算厂商的支持。在这其中，阿里云是当之无愧的“C位“，除了优酷外，阿里云还支撑了CNTV、CCTV5客户端，为全网70%的世界杯直播流量保驾护航。 对于世界杯这种超大观看量级、超强影响力的重要体育赛事，阿里云一直致力研究的AI技术一定不会缺席。

本届世界杯互联网直播的顺利进行，离不开各大云计算厂商的支持。在这其中，阿里云是当之无愧的“C位“，除了优酷外，阿里云还支撑了CNTV、CCTV5客户端，为全网70%的世界杯直播流量保驾护航。

对于世界杯这种超大观看量级、超强影响力的重要体育赛事，阿里云一直致力研究的AI技术一定不会缺席。

如何用AI替代传统的内容加工模式，高效地产出比赛集锦并将精彩内容快速呈现给观众呢？世界杯期间，阿里云联合阿里巴巴机器智能技术实验室，利用“视频AI+云剪辑+媒资管理”的技术，实时产生精彩集锦和球星集锦，满足球迷们的重温赛事和追星的需求，本文将揭晓技术实现过程。

从整场赛事维度产生精彩集锦

首先，要做的事情是让机器比人更懂视频。通过对过去多届世界杯的多场赛事，以及上万篇足球或世界杯相关文稿的学习，阿里云视频AI对球场、球员、比赛机制、特定行为等都有了全面的理解，所以它具备像观众一样去客观地认知和感受每一场世界杯球赛的能力。

其次，大量的标注工作也是必不可少的，包括对帧图景深、位置、事件、红黄牌、不同角色行为、禁区危险画面及球星人脸的标注，也包含对音频中关键词、音频事件等的标注。

最后，便是准确地提取“精彩”的内容。在这个环节，算法和工程上进行了多处创新。包括：

1. 将视频进行多模态分析，从视频画面、音频、文字等多个维度提取关键信息，再通过融合或者相互校验，大幅度提高锁定精彩内容的准确性。
2. 将音频的信息分析和视频行为分析结果取权重融合判断，将视频时域、空域网络权重与音频事件、ASR网络自适应累加，从而对射门、进球、犯规、精妙传球等精彩镜头准确捕获；同时，结合实时事件信息分析结果进行合理回溯或预测，完成事件提取，比如受伤、换人、过人等事件相关的回放、特写、裁判行为抓取等。
3. 利用多维数据进行相互校验，结合事件回溯和预测技术，进行进一步的信息平滑处理，在直播过程中逐渐累积精彩集锦或球星集锦。

从球星的维度产生球星集锦

赛事精彩集锦是以比赛本身为核心，对精彩信息进行定义、提取、汇聚与展示；而球星集锦是以特定球员为核心，获取直播赛事中与球星相关的关键画面或关键事件。这一技术不仅能为视频生产方实时提供素材，也能快速呈现球星爱豆的精华镜头，让球迷们过足眼瘾。

简单来说，球星集锦的实现通过对世界杯场景进行深入理解和分析，从比赛视频、解说词音频、球星库及人物场记等各个维度进行识别与分析，并利用多模态融合技术，从而实现复杂场景下的集锦效果。

在视频AI处理中，通过识别视频中已注册的球星并进行人物追踪，同时做了一定程度的容错处理和补偿优化，并针对不同位置的球星微调追踪模型，最终对球星在视频中出现的时间线、幅面坐标及置信度进行综合的动态分析。

在解说词AI处理中， 则使用了世界杯场景的语音识别模型，该模型对球员名称、足球术语、解说员的语速/语气/语调等进行了额外的训练和优化，尤其是在声学模型上针对足球场景下的球场及观众噪声进行了适应性训练，使得其最终对世界杯解说词的识别准确率提升了超过10个百分点。

云剪辑是生成球星集锦的最后一步，它能够接收视频AI输出的最终时间线，对原始素材进行剪切合并。云剪辑可根据需要来开启并行剪辑模式，这种模式下，原始素材片段越多，剪辑倍速越高。另外，云剪辑还可接收高级剪辑参数，如在不同剪辑片段之间增加转场，在球星首次特写帧增加贴纸，增加背景音乐、片头片尾等，丰富集锦的娱乐效果。

如何瞬时产出视频集锦

对于直播体育赛事，集锦视频产出的高效性非常重要。这也是视频AI真正可以替代人力发挥其价值的依据之一。而这对于视频云的流传输、音视频编解码、直转点以及云剪辑等技术能力都是极大的挑战。

在保证实时性上，阿里视频云利用直转点技术，先碎片化进行实时多模态分析，再结合事件回溯与预估，对精彩集锦进行累积和快速调整，最终合理聚合产出优质集锦。

依靠强大的流媒体处理能力，可以保证每场比赛的精彩集锦以及所有球星集锦，在3-5分钟内生成，再由平台快速发布出去。技术经历过无数次大“舞台”的洗练，本次世界杯中，再一次完美地解决了这一问题。

可预见的未来

激情赛事已经过半，阿里云视频AI技术在本次世界杯中也成功落地，而这并不是结局，这是将视频AI应用于体育行业以及更多其他行业的开端。经历了对世界杯如此大型赛事的稳定保障，阿里视频云将更成熟、稳定地去应对赛事场景下的视频分析与处理。AI技术也将渗透到各个行业中，帮助用户有效提高视频的生产效率，让内容更快、更准、更优。

除了视频AI之外，阿里云在本次世界杯中用到的窄带高清、50帧极清、CDN智能调度等技术，也为2018年的世界杯的广大体育迷提供了更好的观看体验。阿里云目前已经是国内视频服务体量最大的云计算公司，客户涵盖社交、教育、电商、游戏等，未来也将不断致力释放技术红利，帮助越来越多的客户实现业务飞速增长，站领行业“C位”。

原文链接