深入理解Android音视频同步机制(一)概述

音视频同步,即avsync,是影响多媒体应用体验质量的一个重要因素。
本系列文章将从四个角度来深入研究Android平台上的音视频同步机制,以求为遇到音视频不同步问题的朋友提供一个思路:

(1)ExoPlayer avsync逻辑梳理

ExoPlayer是Google开源的一套Android多媒体播放框架,可以很好的支持HLS,DASH等流媒体协议,已经得到Youtube, HBO等视频app的应用。通过梳理ExoPlayer的avsync逻辑,有助于我们从应用的角度理解Android平台的音视频同步机制。

(2)NuPlayer avsync逻辑梳理

NuPlayer是Android framework层的播放器,一般来说,我们在应用层使用MediaPlayer时,都会调用到framework中的NuPlayer去。当然,如果硬件厂商有自己定制的播放器,则要另说了。通过梳理NuPlayer的avsync逻辑,有助于我们从framework层的角度理解Android平台的音视频同步机制。

(3)如何利用MediaSync进行音视频同步

MediaSync是Android M新加入的API,专用于音视频同步,配合MediaCodec和AudioTrack使用,这里将介绍如何使用它以及它背后的原理。由此,我们可以一窥Google在Android多媒体播放框架上的规划。

(4)如何从零开始写一个音视频同步的播放器

我们知道,最简单朴素的音视频同步逻辑是直接对齐两者的pts,而各种播放器所采用的音视频同步机制其实都比这复杂得多,那么这些复杂的逻辑中哪些是必要的,哪些逻辑的影响更大,通过从零开始写一个最简单的播放器,并且一步步优化它的音视频同步结果,有助于我们理解以上的问题。

在本概述中,将先介绍一些音视频同步相关的背景知识。

  1. 如何测试音视频同步情况
    当然你可以直接播放一段相声,然后目测声音和嘴型是否对的上。但是这里还是要推荐一个更科学的设备:Sync-One
    Sync-One是从纯物理的角度来测试音视频同步情况的,通过播放特定的测试片源,并检测声音和屏幕亮度的变化,评判声音是落后于视频,还是领先于视频,如果达到了完美的音视频同步结果,会在电子屏上显示数字0,当然这很难==,一般我们会设定一个标准区间,只要结果能落在这个区间内,即可认为视音频基本是同步的。

  2. 如何制定音视频同步的标准
    音视频同步的标准其实是一个非常主观的东西,仁者见仁智者见智。我们既可以通过主观评价实验来统计出一个合理的区间范围,也可以直接参考杜比等权威机构给出的区间范围。同时,不同的输出设备可能也需要给不同的区间范围。比如,我们制定的speaker输出时的音视频同步区间是[-60, +30]ms, 蓝牙音箱输出时的音视频同步区间是[-160, +60]ms, 功放设备输出时的音视频同步区间是[-140, +40]ms。负值代表音频落后于视频,正值代表音频领先于视频。

  3. 在梳理音视频同步逻辑我们应该关注什么
    毫无疑问,音视频同步逻辑的梳理要分别从视频和音频两个角度来看。
    视频方面,我们关注的是同步逻辑对视频码流的pts做了哪些调整。
    音频方面,我们关注的是同步逻辑中是如何获取“Audio当前播放的时间”的。

关注公众号,掌握更多多媒体领域知识与资讯

在这里插入图片描述

文章帮到你了?可以扫描如下二维码进行打赏,打赏多少您随意~

在这里插入图片描述

你可能感兴趣的:(深入理解Android音视频同步机制(一)概述)