音视频技术开发周刊 75期

『音视频技术开发周刊』由LiveVideoStack团队出品，专注在音视频技术领域，纵览相关技术领域的干货和新闻投稿，每周一期。点击『阅读原文』，浏览第75期内容，祝您阅读愉快。

架构

Netflix媒体数据库：媒体时间线数据模型

如何设计高效的视频数据库，Netflix的NMDB给出了答案。本文是系列文章的第二篇，感谢Hulu的小伙伴们的技术审校。

教育场景下的实时音频解决方案

本文来自网易云信 资深音频算法工程师 李备在LiveVideoStackCon 2018讲师热身分享，并由LiveVideoStack整理而成。在分享中李备详细分析了在线教育的音频需求，以及一般软件音频框架，和行业的挑战。

WebRTC中音频相关的netEQ（五）：DSP处理

MCU发给DSP的主要的控制命令有正常播放（normal）、加速播放（accelerate）、减速播放（preemptive expand）、丢包补偿（PLC,代码中叫expand）、融合（merge）等。

精致前处理，精准码控 — 极致视觉效果

编码时采用精准码控，在码率受限的情况下，将有限的资源合理分配，提高整体画质；编码前，对图像进行精致的前处理，营造更加极致的视觉效果，提升画质。本文来自腾讯视频 视频编码团队负责人汪亮在LiveVideoStackCon 2018大会上的分享，并由LiveVideoStack整理而成。

WebRTC 点对点会话建立过程分析

关于 WebRTC 建立点对点连接的文章很多，其中都提到了如何利用 STUN 服务器获取本机的公网地址，本文侧重局域网(两台设备之间可以直接ping通)下WebRTC点对点连接建立问题分析。

WebRTC 的 CreateOffer 过程分析

通过 WebRTC 点对点会话建立过程分析可以知道 CreateOffer 的具体实现位置在 src\third_party\webrtc\pc\mediasession.cc ，但是 CreateOffer 执行过程中具体经历了什么，还没有进行介绍，接下来将介绍 CreateOffer 究竟创建了什么内容。

《周四橄榄球之夜》流媒体视频拆解：Twitch VS Amazon Prime

最近，亚马逊开始在Prime Video和Twitch上直播大型体育赛事。流媒体专家Phil Cluff从编解码器、包装格式、DRM策略及CDN等方面对两种平台的流媒体架构进行了分析、推测。LiveVideoStack对原文进行了翻译。

音频/视频技术

基于HLS格式的低延时互动直播技术

在不牺牲服务质量（卡顿率、画面清晰度）的前提下，越低的延时能带来越好的互动性用户体验。为达成可扩展性、服务质量、互动性的三赢，Twitch团队研发了基于HLS格式的低延时互动直播技术。本文来自Twitch Principal Research Engineer沈悦时在LiveVideoStackCon 2018大会上的分享，并由LiveVideoStack整理而成。

SRT : 开源的视频传输协议

SRT（Secure Reliable Transport）是新一代低延迟视频传输协议，是一种开源、免费和应用灵活的规范，它的性能与专用的协议一样优秀，同时能够在不同制造商生产的产品之间工作。本文主要参考Haivision的SRT白皮书，概述了SRT的一些关键特性，并将SRT与常见传输格式及新一代传输协议QUIC进行比较，最后简述SRT的发展现状。

WebRTC：音频QoS中的前向纠错 (FEC) 技术解析

WebRTC语音传输中保证传输质量的主要措施分为丢包重传 (NACK) 和前向纠错 (FEC)，其中NACK主要是接收端在检测到数据包RTP序列号不连续的时候，发送重传请求，发送端接收到重传请求后重新向接收端发送丢失的数据。

直播首屏耗时400ms以下的优化实践

直播行业的竞争越来越激烈，进过18年这波洗牌后，已经度过了蛮荒暴力期，剩下的都是在不断追求体验。最近在帮做直播优化首开，通过多种方案并行，把首开降到500ms以下，希望能对大家有借鉴。

阿里云边缘节点ENS助力淘宝构建音视频通信网络

淘宝的音视频通讯基础团队与阿里云边缘计算技术团队合作，通过边缘节点收流、合流、构建低延时音视频通信链路，完美地解决由于地域分布广泛、网络质量不稳定带来的体验问题和延时问题。

编解码

语音编解码技术演进和应用选型

本文来自现网易云音乐音视频实验室负责人刘华平在LiveVideoStackCon 2017大会上的分享，并由LiveVideoStack整理而成。分享中刘华平以时间为主线，讲述了语音编解码技术的演进路线及实际应用中的技术选型。

基于机器学习技术的非迭代内容自适应分布式编码

分布式编码是缩短内容准备云工作流程的周转时间的一种有效方法。本文提出了一种非迭代的代码同义方法，它采用机器学习技术来实现平均比特率的节省，同时保证目标质量。

帧间预测相关信息获取

获取帧间编码模式 调用getPartitionSize(UInt uiIdx)，uiIdx=0表示当前深度CU eg.如果编码块是Inter2Nx2N模式，即遍历xCheckRDCostInter( rpcBestCU, rpcTempCU, SIZE_2Nx2N DEBUG_STRING_...

AV1解码器dav1d性能提升100%

11月21日，VideoLAN的主席Jean-Baptiste Kempf在其博客上透露了AV1解码器dav1d的最新进展，和libaom相比，dav1d性能普遍提升100%，最高提升400%。

AI智能

中国团队“霸屏”全球权威人脸识别竞赛，依图夺冠！

美国国家标准与技术研究院（NIST）刚刚公布了有工业界“黄金标准”之称的全球人脸识别算法测试（FRVT）结果，依图科技以千万分之一误报下的识别准确率超过99%，继续保持全球人脸识别竞赛冠军，中国公司商汤科技摘得第三名和第四名。

NR V2X最新总结，快来一起看看吧~

3GPP工作组在2018年6月RAN#80全会上启动了NR V2X技术研究，在之后的RAN1 94/94b/95次会议中工作组成员针对V2X课题进行了大量的讨论。

利用卷积神经网络对座头鲸进行声学探测

在过去几年中，Google AI Perception 团队开发出音频事件分析技术，并将其应用于 YouTube 上的非语言字幕、视频分类和检索。此外，为了进一步推动社区中的研究，我们还发布了 AudioSet 评估集，并开源了部分模型代码。

人脸识别|人证比对《DocFace+: ID Document to Selfie Matching》论文解读（附代码）

本文中，我们提出了DocFace++来解决这问题。我们首先展示了基于梯度的优化方法在每个类别只有很少样本的时候，收敛的很慢。为了克服这个缺点，我们提出了一种方法，叫做动态权值imprint（不知道怎么该翻译这个imprint），来更新分类的权值，这样可以收敛的更快，特征表达更加的泛化。

图像

Android开发之图像处理那点事——滤镜

在 Android 开发中，一般对图像的处理就是 Bitmap（位图），它包含了图像的全部数据，即点阵和颜色值，点阵就是包含像素点的矩阵，而颜色值就是ARGB，分别代表透明、红色、绿色、蓝色通道，它们共同决定了像素点的颜色，今天我们来讲讲关于改变图像颜色的相关知识点。