从已经广泛应用的图像识别、鉴黄、语音识别,到底层的编解码优化、网络传输优化、超分辨率,AI 与 RTC 的结合已成未来趋势。利用人工智能,开发者能可在实时音视频领域发挥的空间越来越大。
技术圈向来都是拿代码来说话的。因此,我们要为各怀技艺的开发者们搭一个舞台,请大家来各展拳(dài)脚(mǎ)!
在美剧《硅谷》中,主角团队“魔笛手”便凭借一手超越整个行业的压缩算法,一跃成为整个硅谷炙手可热的独角兽。电视剧或许是虚构,但挑战始终存在,准备好接招了吗!
声网 Agora 、RTC 开发者社区与数据科学学习社区 DataCastle 合作,面向全球开发者发起数据算法与应用创新类线上大赛——AI in RTC 创新大赛。本届大赛包含了两个挑战主题,“超分辨率算法挑战”与“编程挑战”,其中“超分辨率算法挑战”又分为两个赛题,开发者可以在 3 个挑战赛题中任选其一或参加多项挑战。大赛从 7 月 1 日持续到 9 月 30,并在 10 月举行线下颁奖礼。我们为优胜者准备了 25 万元的总奖金池,并且有机会加入声网合作伙伴计划及声网 Offer 快车道。
大赛奖项
大赛共有三个赛题,每个赛题分别设有一、二、三等奖,总奖金池共 25 万元。而且,除了奖金之外,获奖团队还可进入“声网合作伙伴计划”,获得全球化的市场推广、技术培训、销售渠道等多方面支持。
参赛者还有机会加入“声网 Offer 快车道”,提交作品即可进入面试环节,获奖团队成员可优先获得录用资格。具体奖金金额如下:
超分辨率图像质量挑战
一等奖(1 名)| ¥60000
二等奖(1 名)| ¥30000
三等奖(1 名)| ¥10000
超分辨率算法性能挑战
一等奖(1 名)| ¥60000
二等奖(1 名)| ¥30000
三等奖(1 名)| ¥10000
编程挑战
一等奖(1 名)| ¥30000奖金 + LeanCloud 代金券 ¥10000+极光认证兑换券¥5000
二等奖(1 名)| ¥15000奖金 + LeanCloud 代金券 ¥5000 +极光认证兑换券¥3000
三等奖(1 名)| ¥5000 奖金 + LeanCloud 代金券 ¥3000 +极光认证兑换券¥2000
超分辨率挑战
超分辨率算法通常是应用于单帧图片上的,将图片分辨率成倍放大,并利用算法还原细节是主要目的。另一方面,超分算法也可以应用于实时视频的后处理阶段。在实时视频上应用超分算法,通常会要面对难题主要是性能与质量之间的权衡,即如何在设备性能瓶颈之下保证图像质量最优。
超分辨率算法挑战分为两个独立的赛题:“超分辨率图像质量挑战”与“超分辨率算法性能挑战”。开发者可以根据自身及团队情况,选择参加。
超分辨率图像质量挑战
在这个挑战中,我们会提供一个包含 100 张图片的图集。参赛者/团队需要对 100 张图片进行 4 倍超分辨率处理,然后线上提交处理后的图片。
评委会将最终以PI (perceptual index)指标作为图片质量评判标准,PI值越小,表明图像质量越高。质量最优的团队获得优胜。了解更详细的评选规则,请见「阅读原文」。
超分辨率算法性能挑战
将超分辨算法用于处理实时视频流时,模型的处理表现与运算性能,是一个两难的选择。为了追求较低复杂度,可能需要牺牲图像质量;为了追求较高质量的图片输出,导致设备资源占用过高,产生设备发烫、视频模糊卡顿等现象。
第二个挑战赛题主要考验参赛者/团队的算法模型的性能。参赛者需要对单帧图像做 2 倍的超分辨率处理,算法复杂度控制在 1GFLOPs 之内。最终参赛者/团队在线上提交算法模型(PyTorch 1.0.0)。
评委会将以 SRCNN 模型为 baseline, 并采用 PSNR、SSIM 及运行时间来综合评估算法的性能,分值高者即获胜。了解更详细的评选规则,请见「阅读原文」。
编程挑战
第二个挑战主题规则很简单。参赛者/团队只需要基于声网 Agora SDK 开发应用,在比赛时间内线上提交,即可参与评选。为应用中增加了图像识别、语音识别、鉴黄等基于 AI 的功能,还可获得额外加分。
目前,声网 Agora SDK 包括视频通话/视频互动直播 SDK、语音通话/语音互动直播 SDK、互动游戏 SDK、实时消息 SDK、实时录制 SDK,同时我们在两个官方 Github 上(AgoraIO 与 AgoraIO-Community),开源了多个可供参考的 Demo,有的来自我们的工程师,有的来自我们社区中的开发者,包括支持了 Flutter、Electron、Vue 等框架的实现。这些都是开发者可以在参赛过程中参考的基础示例。
同时,我们的合作伙伴涂图科技(tutucloud.com),还将为参赛团队免费提供人脸融合 API 使用。LeanCloud(leancloud.cn)、极光(www.jiguang.cn)还为编程挑战赛的获奖者准备了价值超过2万元的奖品。更详细的比赛及评奖规则,请见「阅读原文」。
参考资源
Agora Github:
https://github.com/AgoraIO
https://github.com/AgoraIO-Community
Agora 文档:https://docs.agora.io/cn
Agora 论坛:https://rtcdeveloper.com/c/Agora
比赛日程
注:10月23日大赛答辩期间,主办方可为每队两人提供往返北京的差旅与住宿
大赛主办方
大赛协办方
赞助合作伙伴
点击这里,快来报名参加吧