音视频技术开发周刊 | 143
每周一期，纵览音视频技术领域的干货和新闻投稿：[email protected]。
架构
PSA: WebRTC M83 版本发布
Insertable streams 等更多的视频编码器的控制，以及在这个版本中的更多内容。
https://groups.google.com/forum/?utm_medium=email&utm_source=footer#!msg/discuss-webrtc/EieMDYtQ9sg/7po9fl8_AgAJ
传输网络
低延迟互动式直播
本篇是来自nanocosmos的CEO Oliver Lietz带来的演讲，主题是：“低延迟互动式直播”。
Oliver首先提到，当前的直播行业的趋势是以更强的观众互动性为中心的，包括任意设备的接入、移动性、Web应用、交互性等。互动性的直播应用场景有直播带货、拍卖、体育直播、游戏等。
接下来又详细举例了视频会议广播、圆桌论坛、公共事务中的公民参与、在线拍卖销售、直播体育竞猜等应用场景，这些场景均要求极低的延迟、观众数量的高可扩展性、以及观众的互动性。
随后，Oliver讲述了nanoCosmos的的解决方案，nanoStream云结合H5Live播放器的解决方案可以达到全球的1秒屏到屏的延迟，具备ABR功能与直播后台数据分析。
https://mp.weixin.qq.com/s/J55dUWVjjt-Q3MyU6zZS9w
Carbyne：通过交互式视频为911提供未来的发展方向
使用 Wowza 的 WebRTC 服务以低延迟串流紧急视频。
https://www.wowza.com/blog/carbyne-future-911-interactive-video
编解码
下一代压缩技术：JPEG XS、HEVC、SMPTE VC-6等
随着体育直播视频的传输速度持续增长，以及业界推出新的高带宽UHD和HDR服务，压缩标准也在继续发展。随着业界寻求降低延迟和复杂度的同时提高分辨率和质量，该领域的专家们将围绕着下一代压缩技术，包括JPEG XS、HEVC、SMPTE VC-6等，分析面临的挑战和机遇。
https://mp.weixin.qq.com/s/nQCXjvF4PalLUzCiPYOiaA
基于神经网络的图像编码
基于神经网络的图像编码器，主流方法主要包含两种，一种是以hyper-scale VAE[1-4]为代表的端到端的神经网络编码器，另一种则是以post-filter结合传统编码器[5-12]为代表的基于传统的方法。目前来看，端到端的神经网络编码器在SSIM指标上表现的更好，而结合神经网络的传统编码器在PSNR指标上表现的更好。本文重点以PSNR指标进行展开，介绍基于传统编码器的图像压缩以及如何提升其编码效率。主要包含两个部分，后处理滤波和色彩空间转换。
https://mp.weixin.qq.com/s/GDtrW9nUNCw6aCCWEVAVpw
Android使用OpenGL渲染ffmpeg解码的YUV数据
学习一下如何将YUV转换RGB的功能转换到GPU中去执行，减少CPU的计算工作量，达到性能优化的目的。解决方案是使用OpenGL渲染，将YUV转换RGB的功能交由着色器去处理。
https://mp.weixin.qq.com/s/yzNMXrdElyAsZbYZoEeLwg
MPEG最新的视频编码标准——LCEVC
本篇来自SMWest2019的演讲，题目是“LCEVC: The Latest MPEG Standard ”。演讲者是来自V-Nova的CEO以及联合创始人Guido Meardi，他的演讲详细介绍了MPEG的最新协议LCEVC的过程与LCEVC编码的增强效果。
https://mp.weixin.qq.com/s/ug_6WptUWhe4lpUylSfGbg
制作域的数字媒体格式和编码器简介
你是否曾为各式各样的视频文件格式所烦恼？或者抱怨“我明明只要一个QuickTime视频文件啊”？本文将对数字媒体的格式和编码器进行一个简单的介绍，希望能对你有所帮助。
数字媒体文件由格式封装、数据和元数据组成。格式封装定义了文件的类型，如.mpeg、.mov、.mp4、.mp4、.mxf等。可以把封装理解为一盘录像带，它标明了哪个播放器应该与该文件兼容，就像VHS卡带需要一个VHS播放器一样。数据是指包含在该封装中的音频/视频内容。元数据是一些关于数据的信息，如日期/时间戳、颜色配置文件等。
https://mp.weixin.qq.com/s/A3hWBZVLblWcoOOfF5QruQ
WebRTC 编解码器大战又来了
AV1 vs HEVC
https://bloggeek.me/av1-vs-hevc-webrtc-codec/
视频技术
万物皆可“小程序”——迟到的iOS 14之猜想
这是一篇没能赶上热点的文章，但好在对技术的讨论总是多多益善，不分冷热。
https://mp.weixin.qq.com/s/3j9tZj3_uMPJijAaGtN1pg
远方的掌声
在线会议,应该有人让????????或????聊天导致鼓掌的声音和视频笑了。观众感觉就像一个缺失的部分，使得会议如此特别。(拍手笑的次数越多，拍手笑的次数就越多)
https://www.kryogenix.org/days/2020/04/27/remote-applause/
ffmpeg音视频同步的几种策略
本文就来分析一下如何解决音视频同步的问题。如果简单的按照音频的采样率与视频的帧率去播放，由于机器运行速度，解码效率等种种造成时间差异的因素影响，很难同步，音视频时间差将会呈现线性增长。
https://mp.weixin.qq.com/s/ExAQbfngdQtAPmR02M_HAA
5G广播现状与概况
本视频来自于IEEE BTS的网络研讨会，演讲者是来自于瓦伦西亚理工大学的Dr. David Gomez-Barquero，演讲的主题是5G现状与概述: 从基于LTE的地面广播到5G的本地多播/广播支持。
https://mp.weixin.qq.com/s/OZ9FPEjM2cBcMTHwM41KSg
电影的未来
本文是来自The Hacking XR Speaker Series的演讲，演讲者是Doug Trumbull。演讲主题是电影的未来。
在这次演讲中，Doug展示了许多他过去的照片，播放了许多的纪录短片，讲述了他过去的种种故事经历和成就，辅助讲解他和电影相关的经历，以此为例子深刻阐述了电影、全景电影、电影院、屏幕等的发展历程和部分制作细节。他也介绍了他的作品Silent Running、Brainstorm的内容和拍摄过程。
https://mp.weixin.qq.com/s/FKsj1oJGMJBPkURgjsWY-g
使用设施即代码和公有云赋能媒体创作平台
本文是来自SMPTE 2019的演讲，讲者是来自于 NBCUniversal 公司的 Kevin Fornito和Chris Zembower，演讲题目是“Using Infrastructure-As-Code & the Public Cloud to Power On-air Media Creation Platforms”。
https://mp.weixin.qq.com/s/sOML5CAYKZ69x2FHOSJJJA
AI智能
抠图剧“一毛特效”不忍直视，以假乱真才是AI视频抠图的真水平
粗制滥造的抠图影视剧画面简直令人“窒息”，真正的抠图技术应该是什么样的？
https://mp.weixin.qq.com/s/h-wzxtKobKvgV1scuCBJ_g
图像
Sony第四代全局快门图像传感器
Sony2019年发布了第四代全局快门图像传感器Sony’s Pregius S。这篇文章带大家一起看看Sony新一代全局快门传感器做了哪些技术升级。并且捎带复习一下全局图像传感器技术。
https://mp.weixin.qq.com/s/mkZUtI8QkH0Ou0jpumxNhA
ΔEITP 现在是ITU-R BT.2124：业界准备好从ΔE2000向前发展了吗？
本文来自SMPTE 2019的一篇演讲，演讲者是来自Potrait Displays的Catherine Meininger和Tyler Pruitt，标题是“ΔEITP is Now ITU-R BT.2124-Is the Industry Ready to Move on From ΔE2000？”。
https://mp.weixin.qq.com/s/p-DAI2qU6WLBKScwg7ZjqQ
资源推荐
Springer面向公众开放电子书籍，附65本数学、编程、机器学习、深度学习、数据挖掘、数据科学等书籍链接及打包下载
施普林格（Springer）是世界著名的科技期刊、图书出版公司，这次疫情期间面向公众免费开放了一批社科人文，自然科学等领域的正版电子书籍（据说是400多本），towardsdatascience 上有学者将其中65本机器学习和数据科学以及统计相关的免费教材下载链接整理了出来，我试了一下，无需注册，可以直接下载相关的PDF书籍，相当方便。
https://mp.weixin.qq.com/s/IikLlZIPAlcHMN4nc7wPcg
点击“阅读原文”可查看更多详细信息，请大家科学上网。