音视频技术开发周刊 | 164

每周一期，纵览音视频技术领域的干货。

新闻投稿：[email protected]。

架构

WebRTC 首帧显示优化策略全解析

音视频实时通话首帧的显示是一项重要的用户体验标准。本文主要通过对接收端的分析来了解和优化视频首帧的显示时间。

https://juejin.im/post/6875681198316716045

浅析低延迟Camera架构

广播电视、机器视觉、视频监控是video camera产品的几个传统应用方向，近些年随着互联网的发展，网络直播行业异军突起，成为一个新的热点应用方向。这些貌似无关的领域其实一直以来都面临着一个共同的技术挑战，就是视频的流畅性和实时性。

https://mp.weixin.qq.com/s/6VyVeKFs9nJSGHvZbnW3xQ

传输网络

即时通讯的技术你知道的有哪些？

浏览器从诞生开始一直走的是客户端请求服务器，服务器返回结果的模式，即使发展至今仍然没有任何改变。

https://juejin.im/post/6876602732464537608

编解码

揭秘wasm+h265直播播放器

IVWEB团队负责NOW直播等直播场景的业务开发，在探索wasm技术落地的背景下，实现了一款基于wasm的直播播放器。

https://juejin.im/post/6877058224424976392

音视频技术

音视频小程序开发笔记

首先你需要了解如何《快速跑通Demo》，本云游戏小程序实现方案正是基于 TRTC 双人通话。TRTC 互通的自定义组件是通过 标签实现，它基于微信小程序原生的 和 两个媒体组件。这里主要用到的是 live-player，用于播放云游戏的视频流。

https://tuaran.github.io/views/2020/cgamemp.html#%E5%B0%8F%E7%A8%8B%E5%BA%8F%E9%9F%B3%E8%A7%86%E9%A2%91%E5%8E%9F%E7%90%86

用“分层网格”代表的沉浸式光场视频

平时我们看到的视频都是平的么或者说二维的，再立体一点的就是我们电影院看到的用偏振光眼镜实现的左右眼的3D效果。但那不是真的沉浸式的视频。那什么才是呢？就是可以在视频里改变观看视点的。

https://mp.weixin.qq.com/s/fzqoAPsSpL1dSLsSTwoMEg

纯web视频剪辑/转换工具

我们的产品希望能在回放中剪辑出主播的高光时刻，作为前端的我们本来是听听就好，毕竟长期以来视频裁剪工作都是在后台完成，然而这一次，作为IVWEB的前端，我们决定拿起wasm去试一试。

https://juejin.im/post/6877054091357487118

8K距离我们还有多远?

8K目前正在走向应用阶段：现在已经有大品牌的8K电视面世；YouTube和Vimeo已经有上千条8k短片；重大体育赛事已经开始使用8K等。

https://mp.weixin.qq.com/s/Wm3gFLRmRFaCJs5vAgPiiw

基于机器学习的超分辨率技术

本文整理自Bitmovin的VideoTech Deep Dive: Super-Resolution with Machine Learning博文系列，作者是Adithyan Ilangovan，介绍了超分辨率的基本概念以及相关技术。

https://mp.weixin.qq.com/s/p-hBXu7sLeqRYphZ04zUhw

AI智能

图像增强领域大突破！以1.66ms的速度处理4K图像，港理工提出图像自适应的3DLUT

该文是香港理工大学张磊老师及其学生在图像增强领域的又一颠覆性成果。它将深度学习技术与传统3DLUT图像增强技术结合，得到了一种更灵活、更高效的图像增强技术。所提方法能够以1.66ms的速度对4K分辨率图像进行增强(硬件平台：Titan RTX GPU)。

https://mp.weixin.qq.com/s/JFwroAiHYMwvgvUYXY21kg

拍一拍富坚：AI已经可以生成漫画了！

该项目利用 AI 创作了一部名为《PHAEDO》的新漫画，在漫画杂志周刊《Morning》中发行。为了生成漫画中的新角色和故事，项目团队使用 NVIDIA StyleGAN 分析了手冢的数百部经典作品，包括 Phoenix，Black Jack 和 Astro Boy 等，并以这些漫画为训练材料来生成新漫画中的角色。

https://mp.weixin.qq.com/s/5FVmFTgWH-WegyKWYogafw

百年老照片修复算法，那些高颜值的父母！

模糊、褶皱照片修复，是微软 2020 年最新的一篇 CVPR 文章：「Bringing Old Photo Back to Life」

黑白照片上色，是一个经典上色老算法（2018年）：「DeOldify」

https://mp.weixin.qq.com/s/hsMppcLioJbXSZ2ZL8bnug

7 Papers & Radios | 华为诺亚端到端车道线检测新方法；网络表示学习综述

本周的重要论文包括华为诺亚方舟实验室联合中山大学提出的新型车道线检测方法，以及发表在《计算机科学》杂志上的网络表示学习综述。

https://mp.weixin.qq.com/s/sC24h_xgSR6-0oE3ti1uHA

图像

iOS 图像处理技术追踪-Core Image

Core Image 是苹果官方提供的图像处理框架，通过丰富的 built-in（内置）或自定义 Filter（过滤器）高效处理静态图片、动态图片或视频。开发者还可以通过构造 Filter 链或自定义 Core Image Kernel 来实现更丰富的效果。

https://juejin.im/post/6876268620134121480

Android OpenCV：图像透视变换

透视变换（Perspective Transformation)是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面（透视面）绕迹线（透视轴）旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。

https://juejin.im/post/6876014483777519629

咨询速览

嫌苹果收费太高，国外厂商们开始组队反抗了

我们该好奇的不是开发商为什么选择在这个时候发难，而是开发商为什么没有更早一点发难。

https://mp.weixin.qq.com/s/uzvcQtTZjl9gCdcew83sEg