音视频基础知识整理

音频编码

常见的音频编码格式主要有AAC、MP3、WMA、AC3等

- AAC： AAC，全称Advanced Audio Coding，是一种专为声音数据设计的文件压缩格式。与MP3不同，它采用了全新的算法进行编码，更加高效，具有更高的“性价比”。利用AAC格式，可使人感觉声音质量没有明显降低的前提下，更加小巧。苹果ipod、诺基亚手机支持AAC格式的音频文件。优点是相对于mp3，AAC格式的音质更佳，文件更小。不足是AAC属于有损压缩的格式，与时下流行的APE、FLAC等无损格式相比音质存在“本质上”的差距。加之，传输速度更快的USB3.0和16G以上大容量MP3正在加速普及，也使得AAC头上“小巧”的光环不复存在。

- MP3： MP3作为目前最为普及的音频压缩格式，为大家所大量接受，各种与MP3相关的软件产品层出不穷，而且更多的硬件产品也开始支持MP3，我们能够买到的VCD/DVD播放机都很多都能够支持MP3，还有更多的便携的MP3播放器等等。MP3发展已经有10个年头了，他是MPEG(MPEG：Moving Picture Experts Group) Audio Layer-3的简称，是MPEG1的衍生编码方案，1993年由德国Fraunhofer IIS研究院和汤姆生公司合作发展成功。MP3可以做到12:1的惊人压缩比并保持基本可听的音质，在当年硬盘天价的日子里，MP3迅速被用户接受，随着网络的普及，MP3被数以亿计的用户接受。

-WMA： WMA的全称是Windows Media Audio，是微软力推的一种音频格式。WMA格式是以减少数据流量但保持音质的方法来达到更高的压缩率目的，其压缩率一般可以达到1:18，生成的文件大小只有相应MP3文件的一半。

-AC3： AC3(全称Audio Coding3音频编码3)是杜比数码的同义词，杜比数码是一种高级音频压缩技术，它最多可以对6个比特率最高为448kbps的单独声道进行编码。杜比AC-3提供的环绕声系统由5个全频域声道和1个超低音声道组成，被称为5.1声道。5个声道包括左前、中央、右前、左后、右后。低音声道主要提供一些额外的低音信息，使一些场景，如爆炸、撞击等声音效果更好。优点是6个声道的信息在制作和还原过程中全部数字化，信息损失很少，全频段的细节十分丰富。

音频编码介绍

视频编码

视频编码分为两个系列：MPEG和H.26X
感觉下面这几篇文章讲的比较详细就不再整理了，要懂得站在巨人的肩膀上

各种音视频编解码学习详解
菜鸟也能懂的 - 音视频基础知识
Android视频开发基础(一)
音频编码

相关知识点

1. 帧（Frame)：是影像中常用的最小单位，相当于电影中胶片的每一格镜头，一帧就是一副静止的画面，连续的帧就形成了视频。
2. 帧率（Frame rate）：是称为帧的位图图像连续出现在显示器上的频率（速率）。该术语同样适用于胶片和摄像机，计算机图形和动作捕捉系统。帧速率也可以称为帧频率，并以赫兹（Hz）表示。每秒的帧数(fps)或者说帧率表示图形处理器处理场时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的动画。一般来说30fps就是可以接受的，但是将性能提升至60fps则可以明显提升交互感和逼真感，但是一般来说超过75fps一般就不容易察觉到有明显的流畅度提升了。如果帧率超过屏幕刷新率只会浪费图形处理的能力，因为监视器不能以这么快的速度更新，这样超过刷新率的帧率就浪费掉了。 帧率（Frame rate）：是称为帧的位图图像连续出现在显示器上的频率（速率）。该术语同样适用于胶片和摄像机，计算机图形和动作捕捉系统。帧速率也可以称为帧频率，并以赫兹（Hz）表示。每秒的帧数(fps)或者说帧率表示图形处理器处理场时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的动画。一般来说30fps就是可以接受的，但是将性能提升至60fps则可以明显提升交互感和逼真感，但是一般来说超过75fps一般就不容易察觉到有明显的流畅度提升了。如果帧率超过屏幕刷新率只会浪费图形处理的能力，因为监视器不能以这么快的速度更新，这样超过刷新率的帧率就浪费掉了。
3. 分辨率：又称解析度、解像度，可以从显示分辨率与图像分辨率两个方向来分类。显示分辨率（屏幕分辨率）是屏幕图像的精密度，是指显示器所能显示的像素有多少。由于屏幕上的点、线和面都是由像素组成的，显示器可显示的像素越多，画面就越精细，同样的屏幕区域内能显示的信息也越多，所以分辨率是个非常重要的性能指标之一。
4. 编码格式：编码的目的是压缩数据量，采用编码算法压缩冗余数据。视频编码 MPEG(MPEG-2、MPEG-4) H.26X(H.263、H.264/AVC、H.265/HEVC)
5. 封装格式：把编码后的音视频数据以一定格式封装到一个容器，封装格式主要有MKV、AVI、TS等
6. 比特率（码率）：比特率是指每秒传送的比特（bit）数。单位为bps(Bit Per Second），比特率越高，传送的数据越大。比特率表示经过编码（压缩）后的音、视频数据每秒钟需要用多少个比特来表示，而比特就是二进制里面最小的单位，要么是0，要么是1。比特率与音、视频压缩的关系，简单的说就是比特率越高，音、视频的质量就越好，但编码后的文件就越大；如果比特率越少则情况刚好相反
7. 采样率：采样率（也称为采样速度或者采样频率）定义了每秒从连续信号中提取并组成离散信号的采样个数，它用赫兹（Hz）来表示。在数字音频领域，常用的采样率有：
   8000Hz 电话所用采样率，对于人的说话已经足够
   11025Hz 获得的声音称为电话音质，基本上能让你分辨出通话人的声音
   22050Hz 无线电广播所用采样率，广播音质
   32000Hz miniDV数码视频camcorder、DAT(LPmode)所用采样率
   44100Hz 音频CD，也常用于MPEG-1音频（VCD，SVCD，MP3）所用采样率
   47250Hz NipponColumbia(Denon)开发的世界上第一个商用PCM录音机所用采样率
   48000Hz miniDV、数字电视、DVD、DAT、电影和专业音频所用的数字声音所用采样率
   50000Hz 二十世纪七十年代后期出现的3M和Soundstream开发的第一款商用数字录音机所用采样率
   50400Hz 三菱X-80数字录音机所用所用采样率
   96000或192000Hz DVD-Audio、一些LPCMDVD音轨、BD-ROM（蓝光盘）音轨、和HD-DVD（高清晰度DVD）音轨所用所用采样率
   28224MHz SACD、索尼和飞利浦联合开发的称为DirectStreamDigital的1位sigma-deltamodulation过程所用采样率
   总之当前声卡常用的采样频率一般为44.1KHz（每秒采集声音样本44.1千次）11KHz、22KHz、和48KHz。采样频率越高，获得的声音文件质量越好，占用存储空间也就越大。
8. 转码：指将一段多媒体包括音频、视频或者其他的内容从一种编码格式转换成为另外一种编码格式。
9. 采样位数：即采样值或取样值。它是用来衡量声音波动变化的一个参数。在计算机中采样位数一般分为8bit和16bit,但有一点请大家注意，8位不是说把纵坐标分成8份，而是分成2的8次方即256份； 同理16位是把纵坐标分成2的16次方65536份。
10. 声道数：CHANNEL_IN_MONO（单声道） and CHANNEL_IN_STEREO（立体声）. 其中CHANNEL_IN_MONO是可以保证在所有设备能够使用的。
11. 音频数据格式：AudioFormat.ENCODING_PCM_8BIT, AudioFormat.ENCODING_PCM_16BIT, and AudioFormat.ENCODING_PCM_FLOAT.其中ENCODING_PCM_8BIT不保证设备支持，ENCODING_PCM_16BIT保证了设备支持。

暂时就这么多，以后遇到新的知识点再记录，如有错误欢迎指正。