每周一期,纵览音视频技术领域的干货和新闻投稿:[email protected]。
架构
为什么您的视频会议系统不互相集成
主要是因为当大多数公司希望成为 SaaS 或者云供应商时,以至于没有动力去实现。
https://www.theverge.com/2020/4/1/21202945/zoom-alternative-conference-video-free-app-skype-slack-hangouts-jitsi
到目前为止,Zoom 安全和隐私缺陷和问题,以及您可以采取哪些措施保护自己
即使在这种情况下,可以确信所有视频会议供应商都希望 Zoom 的股价不要跌的太多。
https://tidbits.com/2020/04/03/every-zoom-security-and-privacy-flaw-so-far-and-what-you-can-do-to-protect-yourself/
如何在 Ubuntu 18.04 中使用 coturn 并创建和配置 STUN/TURN服务器
强力推荐阅读一下。
https://ourcodeworld.com/articles/read/1175/how-to-create-and-configure-your-own-stun-turn-server-with-coturn-in-ubuntu-18-04
您的视频通话是否具有端到端加密?可能不会
SFU 端到端的加密以及 WebRTC 中的位置。
https://webrtchacks.com/you-dont-have-end-to-end-encryption-e2ee/
活动推荐
【线上分享】如何搭建低延时、交互式的在线教育平台?
伴随学校“停课不停学”,在线教育迎来了新的一轮快速增长。如何破局线上,搭建低延时、交互式在线教育平台,还原线下教学体验?4月19日(周日)晚19:30,我们邀请到腾讯互动课堂技术负责人缪少豪详细介绍腾讯云在线教育互动课堂方案的设计与技术挑战,重点剖析互动白板实现的技术难点与突破。
扫描下图二维码立即报名
【开发福利】TRTC-实时音视频互动场景开发挑战赛,赢取丰厚福利
伴随直播、远程办公、网络教学需求的不断提升,实时音视频技术被广泛应用,如何保证产品的高并发、高可用、高性能也成为关键课题。腾讯实时音视频(TRTC)以多人音视频通话和低延时互动直播两大场景化方案,为开发者提供可快速搭建的低成本、低延时、高品质的互动课堂解决方案。
4月13日,腾讯云启动TRTC SDK开发应用大赛,将这些能力开放出来,并提供免费资源给合作伙伴进行实时应用场景的开发,更有超多开发福利等着你。
【访问链接立即报名】
https://cloud.tencent.com/act/event/TRTC-SDK-Competition
传输网络
Electron 低延迟视频流播放方案探索
这篇文章也跟我们正在开发的 Electron 客户端有一定关系。最近我们正在预研在 Electron 页面中实时播放会议视频流的方案。
https://juejin.im/post/5e8e714f6fb9a03c832b089c
使用 Matrix 和 Jitsi 运行自己的安全通信服务
如何向 Matrix 添加视频。
https://matrix.org/blog/2020/04/06/running-your-own-secure-communication-service-with-matrix-and-jitsi
编解码
基于云的编码如何提高视频流质量
演讲者介绍了不同分辨率下的各种编解码器(即AVC、HEVC、AV1和VVC),并比较它们的编码复杂性。此外,还介绍了基于本地服务器的实时编码的局限性,并介绍了如何采用云计算的方式解决这些问题。演讲还详细探讨了基于云计算编码的各种优势,包括运营商如何通过云计算更弹性地提供服务,即能快速开启和关闭服务,且能在遇到仅持续几天的大型体育赛事或新闻报道时能扩容。
https://mp.weixin.qq.com/s/wfFasbT3H462hMD-Kwbx7A
H265 / HEVC,硬件加速,在 #Webrtc 完成的差不多
我想知道这项投入对苹果或英特尔的长期优势是什么?
http://webrtcbydralex.com/index.php/2020/04/03/h265-hevc-hardware-accelerated-in-webrtc-done-well-almost/
速度失真优化:开源HEVC编码的权衡
演讲主要目的是展示如何优化在本地或公共云中的商品硬件上运行的开源分布式编码系统的吞吐量。这将使用流行的开源x265视频编码器完成。它在商业云编码实现中无处不在,通常与ffmpeg结合使用。它是一种通用的编码器,它允许用户以非常精细的粒度控制各个方面,例如使用HEVC编码工具,速率失真优化(RDO),感知质量,指令集扩展和并发性。它还通过其日志记录系统输出大量内部信息。这种详细程度与源代码的可用性相结合,使我们能够在质量和代码路径级别上进行详细的权衡分析。
https://mp.weixin.qq.com/s/pKKhl0CMt29NbG2_i3dl0g
MPEG-5 EVC
演讲开始时Jonatan介绍了视频编码的背景,视频消费在全球范围内不断增加,改进的压缩效果可降低成本并提高质量,而从2003年开始,当今大多数视频服务都使用AVC / H.264,但是是否存在更好的替代品呢?
https://mp.weixin.qq.com/s/lAWHrPKDHdQrj6WApRL9lw
视频技术
我们必须将神经网络压缩 30倍 才能在 Chrome 中运行
充分利用 WebAssembly 来提高浏览器中 WebRTC 的音频质量。
https://krisp.ai/blog/how-we-shrunk-dnn-to-run-inside-chrome/
新的 RingCentral 视频会议解决方案使接入速度更快,协作更轻松
RingCentral 用他们自己的基于 WebRTC 实现的视频会议服务代替 Zoom。
https://www.ringcentral.com/blog/new-ringcentral-video-meetings-solution-makes-it-faster-to-join-easier-to-collaborate/
AI智能
使用 WaveNetEQ AI 提高 Duo 应用中的音频质量 (Google AI Blog)
Google 使用机器学习实现丢包隐藏。这不是 WebRTC 的事情,而是标志着公司需要投入资源的方向。
https://ai.googleblog.com/2020/04/improving-audio-quality-in-duo-with.html
图像
借助 Intel OWT 加速 WebRTC 媒体服务器中的计算机视觉
Intel OWT + OpenCV + GStreamer
https://webrtchacks.com/accelerated-computer-vision-inside-a-webrtc-media-server-with-intel-owt/
avatarify
avatarify 项目也是一位国外开发者发布在 GitHub 上的开源项目,可以为 Zoom、Skype 这类视频通话应用添加自己的替身,项目中使用的核心模型 first order model 来源于一篇 NIPS 论文《First Order Motion Model for Image Animation》。
https://github.com/alievk/avatarify
资源推荐
基于Netty实现服务端与客户端通信
本文介绍基于Netty实现的服务端与客户端通信的简单使用方法,并在此基础上实现一个简单的服务端-客户端指令通信的Demo。
http://www.milovetingting.cn/2020/04/12/Android/%E5%9F%BA%E4%BA%8ENetty%E5%AE%9E%E7%8E%B0%E6%9C%8D%E5%8A%A1%E5%99%A8%E4%B8%8E%E5%AE%A2%E6%88%B7%E7%AB%AF%E9%80%9A%E4%BF%A1/
点击“阅读原文”可查看更多详细信息,请大家科学上网。