音视频技术开发周刊 77期

『音视频技术开发周刊』由LiveVideoStack团队出品，专注在音视频技术领域，纵览相关技术领域的干货和新闻投稿，每周一期。点击『阅读原文』，浏览第77期内容，祝您阅读愉快。

架构

基于FFmpeg的运动视频分析

本文来自英特尔资深软件工程师李忠，张华在LiveVideoStackCon 2018大会上的分享，由LiveVideoStack整理而成。分享中两位老师重点介绍了基于FFmpeg的运动视频分析技术架构，以及英特尔视频分析的软硬件解决方案。

RTMP之后，SRT与QUIC

RTMP协议存在累计延迟与加密方面的问题，为适应互联网视频低延时，高质量的要求，以UDP为核心，具有创造性的SRT，QUIC等流媒体视频方式将成为新的选择。本文来自NGCodec官方博客，由LiveVideoStack进行摘译。

AWS Elemental推出新一代基于云的直播视频服务

亚马逊的AWS Elemental新推出了一种可靠，安全且灵活的实时视频传输服务MediaConnect，其主要功能包括视频源的获取，分发与共享。

一切从用户的需求与体验出发

2018年音视频生态发生了许多变化，从视频编码到网络传输，5G的标准完善、QUIC的更名确认、人工智能的不断升温，他们对多媒体技术将产生怎样的影响，未来技术发展方向又将如何？LiveVideoStack邀请了三体云系统架构师时杰、即构科技资深架构师祝永坚和七牛直播云流媒体负责人谢然探讨网络传输、QoE以及2019年技术展望。

SDP协议总结

SDP(Session Description Portocol)会话描述协议，通常通过内容类型为"application/sdp"的MIME来表示。

流媒体协议RTSP、HTTP、HTTPS、SDP四种区别解析

了解了基本协议，我们在看代码写代码的过程中，就会有事半功倍的效果。下面主要讲解RTSP，HTTP,HTTPS, SDP四种协议，一起来看看了解下，仅供参考。

播放器技术分享（1）：架构设计

第一期文章要推出的内容主要涉及到播放器比较核心的几个技术点，本篇是系列文章的第一篇，主要聊一聊播放器的架构设计。

播放器技术分享（2）：缓冲区管理

第一期文章要推出的内容主要涉及到播放器比较核心的几个技术点，本篇是系列文章的第二篇，主要聊一聊播放器的缓冲区管理。

音频/视频技术

VVC最新进展: 超高清和360全景视频压缩工具

近日(2018.11.23)，RWTH Aachen University的Mathias Wien做了一个“Versatile Video Coding: Compression Tools for UHD and 360° Video”的讲座。该讲座概述了ITU-T和ISO / IEC新兴的通用视频编码标准（VVC）的主要编码工具和功能。VVC解决了三类视频：标准动态范围视频（SDR），高动态范围视频（HDR）和360°视频。

OBS集成WebRTC

本文主要描述： - OBS的输出插件开发； - 外部的YUV视频数据怎么输入WebRTC； - 外部的PCM音频数据怎么输入WebRTC； - 外部怎么实现WebRTC的编码器； - 怎么封装OBS的编码器让WebRTC可以使用X264和硬件编码器。

HDR视频生态圈追踪

2017年时的HDR生态圈如图1所示，截止目前，HDR视频生态圈已经产生了巨大的变化。本文将更新旧有的HDR生态圈范围，并更清晰地描述当前HDR视频生态圈。本文译自The HDR video ecosystem tracker，原作者为 Yoeri Geutskens，曾任飞利浦消费电子公司DVD录像机产品规划经理。

Android多声道录音研究

原生Android只支持2 channel的录音。可是偏偏会有多mic的需求，比如说语音识别。目前已知TDM协议可以将多mic数据从kernel送到hal，从内核空间搬运到用户空间中。可是原生AudioRecord接口是完全不支持多channel录音数据的采集的，怎么修改，才能让原生进行支持呢?

基于Mediasoup的多方通话研究（一）

脱颖而出Mediasoup，可以用小而美来形容她：支持目前主流的浏览器，chrome、Firefox、safari、Edge等等；支持UnifiedPlanSdp和PlanBSdp两种方式；ORTC的api风格调用方式，避免了WebRTC的不足，使协议更简洁...

编解码

MPEG最近在忙啥？

MPEG主席Leonardo近日描述了MPEG未来几个月或几年的主要活动和准备交付的标准进展。本帖子内容翻译自其博客文章: Life inside MPEG, (http://blog.chiariglione.org/life-inside-mpeg/)

MSU编码器主观评测新结果

近日，MSU的Graphics & Media Lab(Video Group) 发布了一种新的视频主观质量评价方法，针对14种编码器，以编码速度高于1fps的参数对5段全高清1080p序列进行编码和测试。

Android使用MediaCodec编码AAC

MediaCodec 是Android系统提供的硬件编码器，它可以利用设备的硬件来完成编码，从而提高编码效率，并可以减轻CPU压力降低电量的使用。

Netty 解码器

Netty里的解码通过抽象类ByteToMessageDecoder进行统一规划。ByteToMessageDecoder继承了ChannelInboundHandlerAdapter，解码器也是一个ChannelHandler。

AI智能

NVIDIA想要用AI实时生成视频，效果远超想象

NVIDIA刚刚在NeurIPS大会上展示了一项新的人工智能应用，可以看作是一个驾驶模拟系统，特点是其中的视频内容由AI生成，你可通过真实方向盘来控制视频内的车辆。

基于手机系统的实时目标检测

在具有有限计算能力和存储器资源的移动设备上运行卷积神经网络（CNN）模型的日益增长的需求促进了对有效模型设计的研究。近年来已经提出了许多有效的架构，例如：MobileNet，ShuffleNet和NASNet-A。

AI做不了“真”3D图像？试试Google的新生成模型

近日，在 NeurIPS 2018 会议上接收的论文“ 视觉对象网络：图像生成与分离式的3D表示”中，麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）和 Google 的研究人员介绍了能创造出有逼真纹理和形状的一个生成式 AI 系统。

从0到1：神经网络实现图像识别（上）

“神经网络”是“机器学习”的利器之一，常用算法在TensorFlow、MXNet计算框架上，有很好的支持。为了更好的理解与使用这件利器，我们可以不借助计算框架，从零开始，一步步构建模型，实现学习算法，并在一个图像识别数据集上，训练这个模型，再验证模型预测的准确率。

图像

图像识别的原理、过程、应用前景

图像识别技术的过程分为信息的获取、预处理、特征抽取和选择、分类器设计和分类决策。简单分析了图像识别技术的引入、其技术原理以及模式识别等，之后介绍了神经网络的图像识别技术和非线性降维的图像识别技术及图像识别技术的应用。从中可以总结出图像处理技术的应用广泛，人类的生活将无法离开图像识别技术，研究图像识别技术具有重大意义。