Android音视频开发入门（1）基础概要

音视频开发是时下非常热门的一个Android方向。之前买书的时候顺手买了一本《Android音视频开发》，所以总不能放着，有空的时候就学习一下里面的知识。顺便的下一个项目就是开发一个音视频相关的App应用。
因为音视频的原理是比较低层的，它还会与 ndk 挂钩，所以也跟C挂钩，这导致我要重拾C/C++语言。

视频编码

视频编码的定义是：

通过特定的压缩技术，将某个视频格式文件转换成另一种视频格式的方式

这就和我们所理解的 Base64、压缩/解压缩等概念是一样的。
主流、重要的视频编码标准有两个系列，分别是：

• MPEG系列
  视频方面主要是：MPEG1(VCD)、MPEG2(DVD)、MPEG4(DVDRIP)、MPEG4 AVC(正热门)
  音频方面主要是：MPEG Audio Layer1/2 、MPEG Audio Layer 3(MP3) 、MPEG-2 AAC 、MPEG-4 AAC等。
  注：DVD音频是没有采用MPEG的
• H.26X系列
  侧重网络传输，并且只有视频编码
  包括：H.261、H.262、H.263+、H.263++、H.264(就是与MPEG4 AVC合作的结晶)

音频编码

常见的音频编码格式有 AAC、MP3、AC3

• AAC
  一种专门为声音数据设计的文件压缩格式，与MP3不同，它采用了全新的算法进行编码，更加高效和高性价比。利用AAC格式，在感觉声音质量没有明显降低的前提下（并且音质比MP3更好），可使文件更加小巧。
  缺点：有损压缩，与时下流行的APE、FLAC等无损压缩格式相比存在 “本质上”的差距。
• MP3
  一种音频压缩技术。它被设计用来大幅度地降低音频数据量。利用MP3，将音乐以1：10甚至1：12的压缩率，压缩成容量较小的文件，但即使这样，用户听到重放的音质与最初的不被压缩的音质没有明显的差别。
  为什么会这样呢？这就是MP3的技术特点：利用人耳对高频声音信号不敏感的特性，将时域波形信号转化成频域信号。并划分成多个频段，对不同的频段使用不同的压缩率，对高频信号使用大压缩率，低频信号使用小压缩率，保证信号不失真。这样就做到了抛弃了人耳听不到的高频部分，从而将声音用1：10甚至1：12的压缩率压缩。
• AC3
  AC3广泛应用于5.1声道。其普及程度很高，以384~448kb/s的码率应用于激光唱片和DVD，也经常以640kb/s用的码率应用于电影院。AC3提供的环绕声系统由5个全频域声道和1个超低音声道组成，被称为5.1声道。5个全频域声道包括：左前、中央、右前、左后、右后。超低声道提供一些额外的低音信息，使一些场景的声音效果更好。

多媒体播放组件

Android的多媒体播放组件包含：

• MediaPlayer
  播放控制
• MediaCodec
  音视频编解码
• OMX
  多媒体部分采用的编解码标准
• StageFright
  一个框架，替代之前的OpenCore，主要做了一个OMX层，仅仅对OpenCore的omx-component部分做了引用。StageFright是在MediaPlayerService这一层加入的，和OpenCore是并列的。
  在Android中是以共享库的形式存在的，其中的module—NuPlayer/AwesomePlayer可用来播放音视频
• AudioTrack
  音频播放

常见的多媒体框架及解决方案

• VLC
  一款自由、开源的跨平台多媒体播放机框架
• FFmpeg
  多媒体解决方案，不是多媒体框架，广泛应用于音视频开发中
• GStreamer
  一套构建流媒体应用的开源多媒体框架。

一些术语

1.帧率
Frame Rate用于测量显示帧的量度。 换句话所就是我们最熟知的FPS或者HZ。
注：如果FPS超出了 显示器的刷新率，那么就算FPS很高，多出来的部分也会浪费了图像处理的能力，因为监视器是不可能以这么快的速度刷新的。

2.刷新率
屏幕每秒被刷新的次数，刷新率分为垂直刷新率和水平刷新率，一般提到的刷新率通常指垂直刷新率。以Hz为单位，刷新率越高，图像就越稳定，对眼睛的影响就越小。刷新率越低，图像闪烁和抖动得就越厉害，眼睛疲劳越快。一般来说，如果能达到80Hz以上的刷新率，就可以完全消除图像的抖动感。

3.封装格式
把编码后的音视频以一定的格式封装到一个容器。封装格式有 MKV、AVI、TS等。

4.码率
也就是比特率。是单位时间播放连续的媒体（如压缩后的音频或者视频）的比特数量。比特率越高，带宽消耗越多。
码率（b/s） = 文件大小（b）/时长（s）

5.画质与码率
码率越大会导致画质越好、视频更流畅吗？答案是错误的
实际上 视频质量和 码率、编码算法都有关系。

6.DTS与PTS

• DTS（Decode Time Stamp）
  主要用于标示读入内存中的比特流在什么时候开始送入解码器中进行解码
• PTS（Presentation Time Stamp）
  主要用于度量解码后的视频帧什么时候被显示出来。

7.YUV与RGB

• YUV
  欧洲电视系统所采用的一种颜色编码方法。Y代表量度，UV代表色差
• RGB

8.视频帧及音频帧
视频帧有 I、P、B

• I帧表示关键帧
• P帧表示这一阵和之前一个关键帧的差别
  没有完整的画面数据，只有与前一阵的画面差别的数据
• B帧是双向差别帧
  B帧几率的是本帧与前后帧的差别

音频的帧就没有那么具象。它和编码格式相关，它是各个编码标准自己实现的。

• 对PCM（未经编码的音频数据）来说，他根本就不需要帧的概念
• AMR帧。规定每20ms就是一阵，每一帧音频都是独立的。
• MP3帧比较复杂，包含了很多信息，比如采样率、比特率等参数。

9.量化精度
量化精度表示可以将模拟信号分成多少个等级，量化精度越高，音乐的声压振幅就越接近原音乐。单位是bit，CD的标准是16bit、DVD则是24bit。

10.采样率
每秒音频采样点个数，采样率单位用Hz表示

11.声道
是指声音在录制或者播放的时候在拨通的空间位置采集或回放的相互独立的音频信号，所以声道数也就是声音录制时的音源数量或回放时的扬声器数量。
常见的声道有：

• 单声道
• 立体声道
  把单声道扩展为左右对称的两个扬声器，效果非常好
• 4声道
  前左、前右、后左、后右。
• 5.1声道
  前面提过
• 7.1声道
  在5.1声道的基础上又增加了中左和中右两个发声点。对于听众来说更加的 前后平衡。