视频直播合唱玩法上线,K歌直播平台迎来新场景

5月,全民K歌上线了视频直播合唱功能。

在深圳工作的小白,可以和远在老家黑龙江的好友实时视频合唱一首抖音热曲《纸短情长》,还邀请共同的朋友进来围观,联络感情。


 职业主播瑶瑶,每天固定时间在K歌平台直播唱歌,时间久了发现,虽然不断更新新的曲目,但在线人数还是每天在掉。偶然一次,瑶瑶跟另一个男主播合唱了一首歌,或许是两个主播间相互导流,或是形式新颖,直播在线观看人数又蹭蹭地涨了。

在外地儿子家帮忙带孙子的张阿姨,早晚接送孩子后,闲暇时间在K歌平台开个房,选择一样爱好的歌友合唱一首《心雨》,唱完后顺带唠嗑一下家常。

视频直播合唱,打破了传统唱K时间、空间的限制,实现了和线下KTV房间唱K一样的体验。只要有一部手机或一台电脑,就可以随时、随地想唱就唱。这个功能在全民K歌一上线,平台的日活量明显增加。

另一方面,要实现视频直播合唱功能,在技术上难度非常大,这也是目前K歌和直播平台类鲜少上线这个功能的原因。

视频直播合唱对技术的挑战

和视频通话、视频直播不同,因为音乐独特的节拍属性,视频直播合唱对同步的要求远远高于两者。要实现合唱的同步,主要难点在于解决延迟。身处不同地方的两个或多个主播,要一起实现实时视频直播合唱,只有在延迟极短的前提下,双方才不会唱错拍。

视频直播合唱的延迟主要由三个方面导致,一是网络不稳定,二是采集传输编解码过程,三是用户终端设备的性能。网络天生具有不稳定性,用户终端设备也无法控制,企业只有将采集传输编码的过程中涉及到的硬件、音视频采集、编解码、代码逻辑、推流、网络传输与中转等方面做到极致,才能最大限度地降低网络和用户终端不稳定对延迟的影响。

技术如何满足新需求

为了实现视频直播合唱,做到高保真音频和高清视频的采集和传输,在充分认识网络和用户终端不可控的前提下,即构科技在采集、传输、播放端都下了大量的功夫。在16年视频语音技术的积累下,掌握了超低延时编码以及推拉流技术,有效将延迟降低到300毫秒内,解决了视频直播合唱实现的最大难点。

超低的延迟技术,加上在实时语音通话、实时视频通话、连麦互动直播等大量落地项目的不断检验和修正下,即构科技结合用户需求和场景,推出了两个视频直播合唱解决方案,将视频直播合唱过程中有可能产生延迟的采集、前处理、接收、编解码、后处理等环节逐一击破。

方案一

架构图如下:

视频直播合唱玩法上线,K歌直播平台迎来新场景_第1张图片

方案一中,伴奏+主唱声音合成后传给副唱,伴奏+主唱+副唱的声音合成后,再传给观众。

整个视频和声音在传输过程中,根据此前积累的海量数据建立了评估模型,针对不同的场景,该模型能够自动优化,实现低延迟的同时,保证音频视频的质量和流畅度。整个方案几乎不受网络和用户终端设备影响,声音和视频在传输过程中受损少,获得了相对高的音质,直播间观众体验到的是录音棚的音质效果,以及高清视频体验。

另外,在这个过程中,伴奏、人声、歌词走的是同一条通道,歌词跟着伴奏和人声同步到达,解决了歌词和声音不同步的情况。

方案二

架构图如下:

视频直播合唱玩法上线,K歌直播平台迎来新场景_第2张图片

在方案二中,伴奏同时发送给主唱和副唱,歌手同时在线合唱,再将人声和伴奏同时输送给观众。在这个过程中,主唱和副唱能实时听到对方的声音,最大限度还原线下互动唱K效果,直播间观众体验到的是KTV的效果。

这个方案中,主唱的伴奏和歌词走的是一条通道,人声走是另外一条通道,副唱的伴奏和歌词走的是一条通道,人声走是另外一条通道,在网络不好的情况下,有可能出现延迟的情况,导致伴奏+歌词与人声不同步,最终影响整个直播效果。

选择合适方案 打造视频直播合唱新场景

即构科技推出的两个方案中,方案一获得了高质量的音质和视频效果,歌词、人声、伴奏走的是同一条通道,避免了出现歌词和声音不同步的情况,观众无论在音质还是视频上,都能获得良好的体验。不足是在合唱过程中,仅副唱能听到主唱的声音,而主唱听不到副唱的声音,少了点交互的乐趣。

而在方案二中,主唱和副唱能实时听到对方的声音,大家互动起来更自然。不足是人声走的是一条通道,伴奏和歌词走的是另一条通道,在传输过程中有可能出人声和伴奏不同步的情况。另外方案对网络的依赖性比较高,双方在网络状况良好的情况下,观众才能获得流畅的观看效果。

两个方案都能让主播不受时间、地域限制实现视频直播合唱,观众也可以享受到良好的视听效果。K歌类和直播平台可以根据自身实际需求,选取合适自己的方案,丰富平台的趣味性和娱乐性,以更新颖的方式、更流畅的体验,打造更多的新场景,吸引更多的用户。

关于即构

即构科技于2015年由QQ前总经理林友尧创立,A轮获得IDG投资,核心团队来自腾讯QQ,汇聚了来自YY和华为等厂商的顶尖语音视频人才。即构ZEGO致力于提供全球最清晰最稳定的实时语音视频云服务,助力企业业务创新,改变用户线上沟通方式。即构ZEGO深耕视频直播、视频社交、游戏语音、线上抓娃娃和在线教育等领域,赢得了映客、花椒直播、一直播、喜马拉雅FM、陌陌游戏、自由之战2、和好未来等顶级厂商托付和信赖。


你可能感兴趣的:(视频直播合唱玩法上线,K歌直播平台迎来新场景)