音视频技术开发周刊 87期

『音视频技术开发周刊』由LiveVideoStack团队出品，专注在音视频技术领域，纵览相关技术领域的干货和新闻投稿，每周一期。点击『阅读原文』，浏览第87期内容，祝您阅读愉快。

架构

如何优化WebRTC提升直播体验？

全民快乐资深音视频工程师郭奕在LiveVideoStackCon 2018音视频技术大会的演讲中从工程师的角度讲述了如何利用WebRTC打造出具备实时互动能力的应用，包括从信令的交互到媒体的传输需要完成的工作。LiveVideoStack对演讲内容进行了整理。

微博客户端播放器的演进之路

近年来新浪微博围绕着快速上线、快速启播、成本节约、稳定性等问题对客户端播放器进行了一系列优化，以求为用户提供更好的服务体验。本文来自新浪微博高级多媒体工程师刘文在LiveVideoStackCon 2018音视频技术大会中的演讲，并由LiveVideoStack整理而成。

未来全球79％流量走向移动视频 大屏、超高清需求促使OTT TV用户增长

全球视频消费在持续增长中，思科（Cisco）近期的数据显示至2022年视频将占全球移动数据流量的79％，视频使用往往发生在晚上黄金时间段，全球的IP流量排名中：亚太地区位居首位，北美、西欧紧随其后。互联网电视端，可将在回归大屏的趋势下，借助于VR/AR及超高清的支持下获得更多的用户流量。

聊聊 WebRTC

Web Real-Time Communication（Web实时通信，WebRTC）由一组标准、协议和JavaScript API组成，用于实现浏览器之间（端到端）的音频、视频及数据共享。WebRTC使得实时通信变成一种标准功能，任何Web应用都无需借助第三方插件和专有软件，而是通过简单地JavaScript API即可完成。

传输网络

QUIC协议综述

QUIC协议是一个加密的、多路复用的、低延时的传输协议，它被设计用于提高HTTPS的传输效率进而使得快速部署和持续进化成为可能。 

SRT协议解析

SRT（Secure Reliable Transport）是一种能够在复杂网络环境下实时、准确地传输数据流的网络传输技术，它在传输层使用UDP协议，虽然UDP协议是一种不可靠传输协议，但是凭借SRT强大的数据恢复能力，再加上UDP协议自身速度快、开销低的特点，最终实现了SRT安全、稳定、快速的传输效果。

基于UDP实现Android和PC端的双向通信

首先我们先来简单了解一下UDP协议。它和TCP协议都是网络通信中非常重要的传输协议。不同于TCP协议的端到端服务，它是面向非连接的，属不可靠协议。

音频/视频技术

直播多人连麦技术简介

随着直播行业的发展，平台玩法越来越多，其中秀场连麦直播玩法人气较高，一方面改变了主播与观众对立的体验，另一方面拉近了主播与观众的距离，对于拉动主播收入平台营收起到了十分重要的作用。本篇文章将分享直播移动端直播连麦的技术实现架构。

WebRTC 的回声抵消(AEC、AECM)算法简介

WebRTC的回声抵消(AEC、AECM)算法主要包括以下几个重要模块：1.回声时延估计 2.NLMS(归一化最小均方自适应算法) 3.NLP（非线性滤波） 4.CNG(舒适噪声产生）。本文重点介绍WebRTC的回声时延估计算法,这也是WebRTC回声抵消算法区别一般算法(如视频会议中的算法)比较有特色的地方。

一看就能学会的H5视频推流方案

随着直播平台爆发式增长，直播平台从 PC 端转战移动端，紧跟着直播的潮流，自己学习实现了一套简单的 H5 视频推流的解决方案，下面就给小伙伴们分享一下自己学习过程中的经验。

直播过程卡顿时，切换码率与选择性丢帧的处理策略研究

由于直播推送端会存在于各种不同的网络环境下面：有线、无线、3G、4G、卫星信号等等，在这些网络条件下，如何做到直播流畅不卡顿，我们这个时候就需要引入可变码率和丢帧两种策略，保证推送的实时和数据的有效。

编解码

H264帧格式解析

本文将关于H264与流媒体的知识进行了总结，对音视频领域内的知识进行梳理。

MediaCodec 编码后的数据使用 FFmpeg 进行封装

由于使用 MediaMuxer 进行文件封装不支持边转码边分块，所以选择通过使用 FFmpeg muxer 进行文件封装, 在封装过程中完成文件的分块。

AAC 音频编码技术

AAC是高级音频编码（Advanced Audio Coding）的缩写，出现于1997年，最初是基于MPEG-2的音频编码技术，目的是取代MP3格式。2000年，MPEG-4标准出台，AAC重新集成了其它技术（PS,SBR），为区别于传统的MPEG-2 AAC，故含有SBR或PS特性的AAC又称为MPEG-4 AAC。

基于自动镜头分割的H.264视频压缩编码

本文基于互信息量和信息熵原理度量帧特征差异，提出结合统计模型的动态阈值方法将视频序列预分为多个镜头，再进行编码，镜头边界指定为I帧，镜头内部分配为P帧或B帧，并对闪光灯和视频亮度突变情况下的分镜头算法做出探讨。

AI智能

爱奇艺短视频软色情识别技术解析

随着UGC内容爆发式增长，信息流产品占领越来越多的用户时间。爱奇艺作为国内领先的互联网视频媒体，承担了正确引导用户价值观的社会责任。所以识别和屏蔽低俗内容、做好风险内容控制、净化短视频生态是一项非常值得重视的工作。下面我们从技术的角度，以“软色情识别”为例，介绍爱奇艺的多模态低俗内容识别技术。

视频内容理解在Hulu的应用与实践

Hulu 自 2016 年开始系统性地在视频内容理解方面展开研究，从视频切分、人工合成元素抽取、视频标签生成、精彩片段分析等等课题入手，通过构建 AI 系统平台来支撑视频数据的生成和处理，在对业务及产品的支持方面也多有探索，从中也积累了一些经验。

超十亿样本炼就的CNN助力图像质量增强，Adobe推出新功能「增强细节」

近日，Adobe 宣布推出一项名为 Enhance Details（增强细节）的照片编辑应用程序新功能，该功能使用机器学习来增强图像的分辨率和图像质量。新功能将在 Lightroom CC 中提供，Adobe 称该功能可以将某些图像的分辨率提高多达 30％。

视频监控系统中的运动检测及报警

在模拟视频监控中，报警措施通常是通过被监控现场的人工干预来实现的；在数字视频监控系统中，图像序列的运动检测及报警不仅可以自行替代监视人员的部分工作，提高监视系统的自动化水平，而且也可提高监控存储的效率。

图像

UHD HDR现状

本技术指南旨在描述超高清HDR的现状以及不同HDR技术的特点。到目前为止，HLG已经成为实时应用程序的部署领导者。由于电视制造商和移动设备的大力支持，再加上杜比围绕Dolby Vision开发的完整生态系统，我们预计Dolby Vision将被部署在电视和移动用例的单播中。其他HDR技术，如SL-HDR1和HDR10+，仍在标准化过程中，可能会在未来几年看到市场对他们兴趣的增加。

UHD HDR Resource Kit

本文提供了现有UHD HDR标准的综述，包括它们的状态、准备情况、潜力限制和部署状态。这份技术指南将会提供一个HDR文件实际生产的工作流程，其中包括拍摄，制作，后处理，分级以及播放。