12月23日,ZEGO RTC Meetup 实时音视频开发者沙龙第一期在深圳成功举办,现场吸引了近90人的音视频开发人员的到场聆听。会上,如预期一样,
腾讯音视频实验室音频技术负责人郭亮、
即构科技音视频引擎核心开发人员关旭、
腾讯GVoice/GVideo技术负责人曹木勇、
深圳奔迈科技总经理CTO李大帅
4位实时音视频大咖给大家做了精彩分享,干货满满!
小编特摘取了部分精彩内容回馈大家。
关注ZEGO公众号,回复"zego"即可获取PPT。
视频回访、嘉宾速记整理可持续关注ZEGO公众号消息~
精彩内容提要
腾讯音视频实验室音频技术负责人,郭亮
郭亮老师的分享主题是《前沿技术带给实时音视频的新突破》
他表示,作为一个在音视频行业打拼10多年的老兵,最近经常被问及,现在实时音视频开源的东西很多,很多可以直接拿来用,所以接下去做实时音视频的意义在哪里?为什么我们还要投入那么多的精力去做这方面的研发?对此,他认为:
第一,实时音视频质量方面仍然可以有很多的提升,虽然有很多开源技术如WebRTC可以直接拿过来用,但是它在很多场景下的效果和质量是满足不了我们要求的。
第二,实时音视频已经在越来越多的场景下做渗透,但是现有的一些产品是不能完全满足这些需求的,需要做很多新的特性来满足它在场景化的定制需求。
第三,一些新技术,如VR、AI等,这些新技术如何去与实时音视频技术上做融合,也是我们可以尝试的方向。
会上,郭老师重点分享了他们在部署网络链路、网络抗性处理、回声抵消、视频编解码上的一些探索和实践。
此外,郭老师给大家展示了他们最近的一些技术创新,如在线歌房合唱、三维虚拟声技术、低照度处理、视频超分辨率技术、手势识别等。
即构科技音视频引擎核心专家,关旭
与郭亮老师分享的角度不同,即构科技关旭老师分享的更多的是一种对实时音视频架构的开放性思考。
他从直播和在线抓娃娃的技术架构出发,介绍了即构科技在实时音视频的技术思考点以及怎么样去架构一个实时音视频系统。
他认为,一个合格的实时音视频架构必须考虑如下几点:
第一,实时音视频不能等,按需生产or提前生产。
第二,实时音视频不能久等,处理粒度and算法延迟。
第三,实时音视频不能死等,丢帧补偿and丢弃过时数据。
第四,实时音视频不能等死,更多的玩法和应用。
他还提到,实时音视频在服务器端还需要深入考虑5大问题:负载均衡、就“近”接入、质量评估、动态路由和算法流控。
此外,他还给大家分享了他在音频、视频信源编码上的思考。
除了信源编码,在信道编码上,关老师重点介绍了前向纠错、丢包重传这2项技术的优缺点以及如何将两者有机结合。
最后,他带来了即构科技在引入延迟的环节和降低延迟上的思考和思路。
腾讯GVoice/GVideo技术负责人,曹木勇
曹木勇老师则100%从实践角度出发,分享了他从YY到QT再到腾讯GVoice工作过程中,在移动端网络特性、移动语音FEC策略、性价比探索,GVoice架构设计思路、GVoice在兼容性方面所做的工作以及怎么解决与其他引擎兼容性问题上的实践。
在踩过的坑上,他重点介绍了如下几点优化经验:
QQ电脑管家导致的语音播放失败问题、其他同行如何避免掉进同样的坑里;
PC端CF存在脚步声问题是如何解决的;
AAC解码问题全0如何解决、改进;
GVoice早期主线程卡顿、网络卡顿是怎么优化的;
后台信令多米诺效应怎么解决,后续如何架构优化;
MODIFY_AUDIOSETTINGS遗漏对语音的影响,怎么避免类似问题
深圳奔迈科技总经理&CTO,李大帅
物联网虽然在近几年一直很火,但是想必很多人对物联网还是很陌生,尤其是实时音视频在物联网方面的应用。所以,李大帅老师本次分享的主要是他对物联网视频的理解、行业现状和行业应用场景。
他以视频安防监控领域举例,指出当前安防监控产业链分为4大主体:
1、专业的视频芯片厂商,如海思、安霸等都推出了专业的编解码视频芯片,最大的特点是内存小、效率高,编解码都是硬件,基于这种专业芯片可以来研发一些IP摄像机或者物联网上的应用;
2、物联网芯片厂商,例如RFID、Zigbee等;
3、嵌入式产品方案商,例如QQ物联、Tutk,以及行业内最牛的公司海康、大华,他们做自己的系统;
4、各种行业应用。
当前的产业格局是专业视频芯片商提供SDK,供一些嵌入式产品的方案商做方案,应用到家庭、消费电子、直播互动等行业。
不同于产业链中的任意一环,李大帅老师指出奔迈科技的优势在于打通了整个产业链,他重点分享了他们的产品方案以及在基于互联网的监控系统、智慧农业方面的解决方案。
最后,大帅老师展望了2018年4G(5G)嵌入式产品的发展趋势。
关于即构ZEGO
即构科技于2015年由QQ前总经理林友尧创立,A轮获得IDG投资,核心团队来自腾讯QQ,汇聚了来自YY和华为等厂商的顶尖语音视频人才。即构ZEGO致力于提供全球最清晰最稳定的实时语音视频云服务,助力企业业务创新,改变用户线上沟通方式。即构ZEGO深耕视频直播、视频社交、游戏语音、线上抓娃娃和在线教育等领域,赢得了映客、花椒直播、一直播、喜马拉雅FM、陌陌游戏、自由之战2、和好未来等顶级厂商托付和信赖。