音频开发篇一

预备知识

对于音频我们需要一下储备知识,这篇文章主要介绍Audio的基础知识,我们需要知道音频的采样率、采样频率、采样位数、通道数、帧、音频周期、音频数据格式、iOS支持的文件格式和iOS对音频处理的一些框架等等。

1、采样率、比特率:

采样率
        8000 Hz - 电话所用采样率, 对于人的说话已经足够
        11025 Hz-AM调幅广播所用采样率
        22050 Hz和24,000 Hz- FM调频广播所用采样率
        32000 Hz - miniDV 数码视频 camcorder、DAT (LP mode)所用采样率
        44100 Hz - 音频 CD, 也常用于 MPEG-1 音频(VCD, SVCD, MP3)所用采样率
        47250 Hz - 商用 PCM 录音机所用采样率
        48000 Hz - miniDV、数字电视、DVD、DAT、电影和专业音频所用的数字声音所用采样率
        50000 Hz - 商用数字录音机所用采样率
        96000 或者 192,000 Hz - DVD-Audio、一些 LPCM DVD 音轨、BD-ROM(蓝光盘)音轨、和 HD-DVD (高清晰度 DVD)音轨所用所用采样率
        2.8224 MHz - Direct Stream Digital 的 1 位 sigma-delta modulation 过程所用采样率。
        比特率:每秒的传输速率(位速, 也叫比特率)这个概念不是音频仅有。如48.2kbps 或 48200bps, 其中的 b 是 bit, ps 是每秒的意思,表示每秒48200bit的容量.

2、采样频率

        采样频率指的是每秒钟取得声音样本的次数。采样频率越高,声音的质量也就越好,声音的还原也就越真实,但同时它占的资源比较多。由于人耳的分辨率很有限,太高的频率并不能分辨出来。
        日常生活照常用的采样率22050, CD音质的采样率是44100。

3、采样位数

        采样位数:即采样值或取样值(就是将采样样本幅度量化)即记录的是声波的振幅。它是用来衡量声音波动变化的一个参数,它的数值越大,分辨率也就越高,即声音越细腻,所发出声音的能力越强。例如8位代表2的8次方—256,16位则代表2的16次方—64K。比较一下,一段相同的音乐信息,16位采样位数能把它分为64K个精度单位进行处理,而8位采样位数只能处理256个精度单位,造成了较大的信号损失,所以前者记录了音频更多的细节。下面列一些对比:

  • 1 字节(8bit) 能记录 256 个数, 也就是只能将振幅划分成 256 个等级;
  • 2 字节(16bit) 可以细到 65536 个数, 已到达 CD 标准;
  • 4 字节(32bit) 能把振幅细分到 4294967296 个数;

4、通道数

        通道数:即声音的通道的数目。通常分为单声道和立体声,单声道的声音只能使用一个喇叭发声,而立体声可以使两个喇叭都发声更能感受到空间效果,当然还有更多的通道数。
        需要注意的是:如果是双声道, 那么采样就是双份的, 文件也差不多要大一倍.

5、帧、周期

        帧:帧记录了一个声音单元,其长度为样本长度(采样位数)和通道数的乘积
        周期:音频设备一次处理所需要的帧数,对于音频设备的数据访问以及音频数据的存储,都是以此为单位。

6、交错模式和非交错模式

        交错模式:数字音频信号存储的方式。数据以连续帧的方式存放,即首先记录帧1的左声道样本和右声道样本,再开始帧2的记录。
        非交错模式:首先记录的是一个周期内所有帧的左声道样本,再记录所有右声道样本

7、音频数据格式

7.1 音频压缩方式

        音频压缩技术指的是对原始数字音频信号流(PCM编码)运用适当的数字信号处理技术,在不损失有用信息量,或所引入损失可忽略的条件下,降低(压缩)其码率,也称为压缩编码,它有两种压缩方式,分别是有损压缩(降低音频采样频率与比特率,输出的音频文件会比原文件小)和无损压缩(无损压缩能够在100%保存原文件的所有数据的前提下,将音频文件的体积压缩的更小,而将压缩后的音频文件还原后,能够实现与源文件相同的大小、相同的码率)。例如MP3、WMA、OGG被称为有损压缩,无损压缩格式有APE、FLAC、WavPack、LPAC、WMALossless、AppleLossless、La、OptimFROG、Shorten。而常见的、主流的无损压缩格式只有APE、FLAC。

7.2 iOS支持的文件格式
Format Name Format fileName extensions
AIFF .aif, .aiff
CAF .caf
MPEG-1,layer 3 .mp3
MPEG-2, MPEG-4 ADTS .acc
MPEG-4 .m4a,.mp4
WAV .wav
AC-3(Dolby Digital) .ac3
Enhanced AC-3 (Dolby Digital plus) .ec3
7.3 音频数据格式转换

        在iOS中可以使用Audio Convert Services提供的服务来完成音频数据格式转换,可以完成下面三种类型转换。

  • 将音频格式解码为线性PCM格式。(例如AAC(高级音频编码)转成PCM)
  • 将线性PCM数据转换为其他音频格式。
  • 在线性PCM的不同变体之间进行转换(例如,将16bit带符号整数线性PCM转换为8.24bit定点线性PCM)。
7.4 音频录制格式选择

        在录制音频的时候不推荐使用AAC和MP3格式,它们耗电和消耗CPU性能。苹果推荐使用下面这个些格式。

录制音频推荐格式
Apple Lossless (ALAC, 苹果无损格式)
iLBC (internet Low Bitrate Codec,互联网低比特率编解码器)
IMA/ADPCM ( IMA-4)
Linear PCM
µLaw and aLaw
7.5 Core Audio中的音频数据的规范格式(使用下面这些规范可以是音频数据,与平台无关)
  • 在iOS中的输入和输出是使用的16bit整数的线性PCM样本
  • 在iOS中的audio units 和其他音频处理是使用8.24bit的无交错线性PCM的固定样本
  • Mac input and output Linear PCM with 32-bit floating point samples
  • Mac audio units and other audio processing Noninterleaved linear PCM with 32-bit floating point samples
7.6 音频数据的数据包

音频数据格式有三种数据包:

  • 在CBR(恒定比特率)格式(例如线性PCM和IMA / ADPCM)中,所有数据包的大小均相同
  • 在VBR(可变比特率)格式(例如AAC,Apple Lossless和MP3)中,所有数据包的帧数均相同,但每个采样值中的位数可能会有所不同
  • 在VFR(可变帧速率)格式中,数据包具有变化的帧数

8 Core Audio 介绍

         Core Audio是苹果对音频处理的框架,分为三层接口,底层我们不能够直接使用,所以接下来主要介绍,中层和高层的接口。如下图所示。


音频处理的三层接口结构
8.1 mid-level
  • Audio Converter Services:提供数据格式转换服务。
  • Audio File Services:从磁盘读、写音频数据服务。
  • Audio Unit Services 和 Audio Processing Graph Services为app提供数字信号处理(DSP)插件,例如均衡器和混频器。
  • Audio Format Services:提供音频数据格式管理服务。
8.2 high-level:
  • Audio Queue Services:可以记录,播放,暂停,循环和同步音频。它根据需要采用编解码器来处理压缩的音频格式。音频数据流对开发者可见,也就是用户可以对这个数据流操作。
  • AVAudioPlayer:用于播放和循环音频以及实现快退和快进。音频数据流对开发者不可见,也就是只能通过调用API,不能够处理数据,需要注意的是在音频播放行为,如果需求是需要立体声并且精确同步,不要使用这个播放器,Audio Queue Services更为适合,反之苹果推荐使用这个播放器。
  • Extended Audio File Services:它是对Audio File Services 和 Audio Converter services的封装,它为读写未压缩和压缩的声音文件提供了统一的接口,例如提供与线性PCM之间的自动数据转换。
  • OpenAL:它直接使用Core Audio的I/O音频单元,从而实现最低延迟回放。适用的主要场景是游戏声音。
8.3 对于iOS需要知道的音频处理框架
  • AudioToolbox.framework:为mid-level和high-level提供接口,在iOS,包含了Audio Session Services
  • AudioUnit.framework:让app可以使用音频插件,比如音频单元和编解码器。
  • AVFoundation.framework:主要提供两个类AVAudioPlayer和AVAudioEngine,前者主要处理简单的音频播放,后者是处理更为复杂的音频播放。
  • CoreAudio.framework:提供跨Core Audio使用的数据类型以及用于低级服务的接口。
  • OpenAL.framework:操作OpenAL的框架。

Audio units进一步介绍

         Audio Unit 是所有 iOS 以及 OS X上音频框架的最底层,无论使用的是 AVAudioRecorder、AVAudioPlayer、或者 Audio Queue Service、OpenAL 等,最终底层实现都是通过 Audio Unit 来完成的。
         在 iOS 上可用的 Audio unit 是有限的,OS X上面可以自定义一个 Audio unit 但是 iOS 上不行,只能使用系统提供的 Audio unit。
         但是什么时候使用 Audio Unit ?官方的说法是,当你需要高度可控的、高性能、高灵活性或者需要某种特别的功能(比如回音消除,只在 Audio unit 提供支持,所有高层 API 均不支持回音消除)的时候,才需要使用 Audio unit。
         Audio units: 它封装在在头文件AUComponent.h中。iOS Audio units 使用8.24位定点线性PCM音频数据进行输入和输出。iOS提供有4类Audio units 如下面所列, 而在OS X中大概有40多个Audio units 。

  • 3D混合器(3D mixer unit):允许任意数量的单声道输入,每个输入可以是8位或16位线性PCM,并且在8.24位定点PCM中提供一个立体声输出,3D混合器在其输入上执行采样率转换,并对每个输入通道提供大量控制,比如控制音量,静音,距离衰减和播放速率。可以使用kAudioUnitSubType_AU3DMixerEmbedded来设置。
  • 多通道混音器(Multichannel mixer unit):允许任意数量的单声道或立体声输入,每个输入可以是16位线性或8.24位定点PCM,并且在8.24位定点PCM中提供一个立体声输出。应用程序可以控制每个输入通道静音和取消静音,和调控音量大小。可以使用kAudioUnitSubType_MultiChannelMixer来设置。
  • 转换器(Converter unit):提供采样率,位深度和位格式(线性到定点)转换。iPhone转换器的标准数据格式为8.24位定点PCM。可以使用kAudioUnitSubType_AUConverter来设置。
  • I/O unit:提供实时音频输入和输出,并根据需要执行采样率转换。可以使用kAudioUnitSubType_RemoteIO来设置。

注:关于Core Audio的实战更新中......

参考:http://www.code06.com/other/aoshilang2249/92451.html

你可能感兴趣的:(音频开发篇一)