AudioUnit

在iOS平台上，所有的音频框架底层都是基于AudioUnit实现的。较高层次的音频框架包括：MediaPlayer、AVFoundation、OpenAL和AudioToolBox,这些框架都封装了AudioUnit,然后提供了更高层次的API(功能更少，职责更单一的接口)。

16a8dc6da3e49765.png

当开发者在开发音频相关产品的时候，如果对音频需要更高程度的控制、性能以及灵活性，或者使用一些特殊功能（回声消除）的时候，可以直接使用AudioUnit API。苹果官方文档中描述，AudioUnit提供了音频快速的模块化处理，如果在一下场景下，更适合使用AudioUnit而不是使用更高层次的音频框架。

• 想使用低延迟的音频I/O(input或者output),比如说在VoIP（基于IP的语音传输）的应用场景下。
• 多路声音的合成并且回放，比如游戏和音乐合成器的应用。
• 使用AudioUnit里面提供的特有功能，比如：回声消除、Mix两轨音频、以及均衡器、混响器等效果器。
• 需要图状结构来处理音频，可以将音频处理模块组装到灵活的图状结构中，苹果公司为音频开发者提供了这种API。

1.认识AudioSession

在iOS的音视频开发中，使用具体API之前都会先创建一个会话，这里也不意外，但在这之前，先来认识一下音频会话（AudioSession）,其用于管理与获取iOS设备音频的硬件信息，并且是以单例的形式存在。可以使用如下代码来获取AudioSession的实例：

AVAudioSession *audioSession = [AVAudioSession sharedInstance];

获得AudioSession的实例之后，就可以设置以何种方式使用音频硬件做哪些处理了，基本的设置具体如下所示。
1）根据我们需要硬件设备提供的能力来设置类别：

[audioSession setCategory:AVAudioSessionCategoryPlayAndRecord error:&error];

2)设置I/O的Buffer,Buffer越小则说明延迟越低：

NSTimeInterval bufferDuration = 0.002;
[audioSession serPreferredIOBufferDuration:bufferDuration error:&error];

3)设置采样频率，让硬件设备按照设置的采样频率来采集或者播放音频：

double hwSampleRate = 44100.0;
[audioSession setPreferredSampleRate:hwSampleRate error:&error];

4)当设置完毕所有的参数之后就可以激活AudioSession了，代码如下：

[audioSession setActive:YES error:&error];

2.构建AudioUnit

在创建并启用音频会话之后，就可以构建AudioUnit了。构建AudioUnit的时候需要制定类型（Type）、子类型（subtype）以及厂商（Manufacture）.类型（Type）就是四大类型的AudioUnit的Type;而子类型（subtype）就是该大类型下面的子类型（比如Effect该大类型下面有EQ、Compressor、limiter等子类型）；厂商（Manufacture）一般情况下比较固定，直接写成kAudioUnitManufacturer_Apple就可以了。利用以上这三个变量开发者可以完整描述出一个AudioUnit了，比如使用下面的代码创建一个RemoteIO类型的AudioUnit:

AudioComponentDescription ioUnitDescription;
ioUnitDescription.conponentType = kAudioUnitType_Output;
ioUnitDescription.componentSubType = kAudioUnitSubType_RemoteIO;
ioUnitDescription.componentManufactureer = kAudioUnitManufacturer_Apple;
ioUnitDescription.conponentFlags = 0;
ioUnitDescription.conponentFlagsMask = 0;

上诉代码构造了RemoteIO类型的AudioUnit描述的结构体，那么如何使用这个描述来构造真正的AudioUnit呢？有两种方式：第一种方式是直接使用AudioUnit裸的创建方式；第二种方式是使用AUGraph和AUNode(其实一个AUNode就是对AudioUnit的封装)来构建。下面就来分别介绍这两种方式。
（1）裸创建方式
首先根据AudioUnit的描述，找出实际的AudioUnit类型：

AudioComponent ioUnitRef = AudioComponentFindNext(NULL,&ioUnitDescription);

然后声明一个AudioUnit引用：

AudioUnit ioUnitInstance;

最后根据类型创建这个AudioUnit实例：

AudioConponentInstanceNew(isUnitRef,&ioUnitInstance);

(2)AUGraph创建方法
首先声明并且实例化一个AUGraph:

AUGraph processingGraph;
NewAUGraph(&processingGraph);

然后按照AudioUnit的描述在AUGraph中添加了一个AUNode:

AUNode ioNode;
AUGraphAddNode(processingGraph,&ioUnitDescription,&isNode);

接下来打开AUGraph,其实打开AUGraph的过程也是间接实例化AUGraph中所有的AUNode。注意，必须在获取AudioUnit之前打开整个AUGraph,否则，我们将不能从对应的AUNode中获取正确的AudioUnit:

AUGraphOpen(processingGraph);

最后在AUGraph中的某个Node里获得AudioUnit的应用：

AudioUnit ioUnit;
AUGraphNodeInfo(processingGraph,ioNode,NULL,&ioUnit);

3.AudioUnit的通用参数设置

本节将以RemoteIO这个AudioUnit为例来讲解AudioUnit的参数设置，RemoteIO这个AudioUnit是与硬件IO相关的一个Unit,它分为输入端和输出端（I代表Input,O代表Output）。输入端一般是指麦克风，输出端一般是指扬声器（Speaker）或者耳机。如果需要同时使用输入输出，即K歌应用中的耳返功能（用户在唱歌或者说话的同时，耳机会将麦克风收录的声音播放出来，让用户能够听到自己的声音），则需要开发者做一些设置将它们连起来。

11386185-b205827ce3a7309a.png

上图中的RemoteIO Unit分为Element0和Element1,其中Element0控制输出端，Element1控制输入端，同时每个Element又分为Input Scope和Output Scope。如果开发者想要使用扬声器的声音播放功能，那么必须将这个Unit的Element0的OutputScope和Speaker进行连接。而开发者想要使用麦克风的录音功能，那么必须将这个Unit的Element1的InputScope和麦克风进行连接。使用扬声器的代码如下：

OSStatus status = noErr;
UInt32 oneFlag = 1;
UInt32 busZero = 0;// Element 0
status = AudioUnitSetProperty(remoteIOUnit,kAudioOutputUnitProperty_EnableIO,kAudioUnitScope_output,busZero,&oneFlag,sizeof(oneFlag));
CheckStatus(status,@"Could not Connect To Speaker",YES);

上面这段代码就是把RemoteIOUnit的Element0的OutputScope连接到Speaker上，连接过程会返回一个OSStatus类型的值，可以使用自定义的CheckStatus函数来判断错误并且输出Could not Connect To Speaker的提示。具体的CheakStatus函数如下：

static void CheckStatus(OSStatus status,NSString *message,BOOL fatal)
{
      if(status != noErr)
      {
              char fourCC[16];
              *(UInt32 *)fourCC = CFSwapInt32HostToBig(status);
              fourCC[4] = '\0';
              if(isprint(fourCC[0]) && isprint(fourCC[1]) && isprint(fourCC[2]) && isprint(fourCC[3]))
                    NSLog(@"%@:%s",message,fourCC);
              else
                    NSLog(@"%@:%d",message,(int)status);
              if(fatal)
                    exit(-1);
      }
}

接下来再来看一下如何启动麦克风的代码：

UInt32 busOne = 1; // Element 1
AudioUnitSetProperty(remoteIOUnit,kAudioOutputUnitProperty_EnableIO,kAudioUnitScope_input,busOne,&oneFlag,sizeof(oneFlag));

上面这段代码就是把RemoteIOUnit的Element1的InputScope连接上麦克风。连接成功之后，就应该给AudioUnit设置数据格式了，AudioUnit的数据格式分为输入和输出两个部分，下面先来看一下Audio Stream Format的描述：

UInt32 bytesPerSample = sizeof(Float32);
AudioStreamBasicDescription asbd;
bzero(&asbd,sizeof(asbd));
asbd.mFormatID = kAudioFormatLinearPCM;
asbd.mSampleRate = _sampleRate;
asbd.mChannelsPerFrame = channels;
asbd.mFramesPerPacket = 1;
asbd.mFormatFlags = kAudioFormatFlagsNativeFloatPacked | kAudioFormatFlagIsNonInterleaved;
asbd.mBitsPerChannel = 8*bytesPerSample;
asbd.mBytesPerFrame = bytePerSample;
asbd.mBytesPerPacket = bytesPerSamele;

上面这段代码展示了如何填充AudioStreamBasicDescription结构体，其实在iOS平台做音视频开发久了就会知道：不论音频还是视频的API都会接触到很多StreamBasicDescription，该Description是描述音视频具体格式的。下面就来具体分析一下上述代码是如何制定格式的。

• mFormatID参数可用来制定音频的编码格式，此处制定音频的编码格式为PCM格式。
• 接下来是设置声音的采样率、声道数以及每个Packet有几个Frame。
• mFormatFlags是用来描述声音表示格式的参数，代码中的第一个参数指定每个sample的表示格式是Float格式，这点类似于之前讲解的每个sample都是使用2个字节（SInt16）来表示；然后就是后面的参数NonInterleaved,字面理解这个单词的意思是非交错的，其实对于音频来讲就是左右声道是非交错存放的，实际的音频的数据会存储在一个AudioBufferList结构中的变量mBuffers[0]里面，右声道就会在mBuffers[1]里面；而如果mFormatFlags指定的是Interleaved的话，那么左右声道就会交错排列在mBuffers[1]里面。
• 接下来的mBitsPerChannel表示的是一个声道的音频数据用多少位来表示，前面已经提到过每个采样时候用Float来表示，所以这里使用8乘以每个采样的字节数来赋值。
• 最终是参数mBytesPerFrame和mBytesPerPacket的赋值，这里需要根据mFormatFlags的值来进行分配，如果在NonInterleaved的情况下，就赋值为bytesPerSamele（因为左右声道是分开存放的），这样才能表示一个Frame到底有多少个byte。

至此，我们就完全构造好了这个BasicDescription结构体，下面将这个结构体设置给对应的AudioUnit,代码如下：

AudioUnitSetProperty(remoteIOUnit,kAudioOutputUnitProperty_StreamFormat,kAudioUnitScope_output,1,&asbd,sizeof(asbd));

4.AudioUnit的分类

介绍完了AudioUnit的通用设置之后，本节就来介绍一下AudioUnit的分类。iOS按照AudioUnit的用途将AudioUnit分为五大类型，本节将从全局的角度出发来认识各大类型以及其下的子类型，并且还会介绍他们的用途，以及对应参数的意义。

（1）Effect Unit

类型是kAudioUnitType_Effect,主要提供声音特效处理的功能。其子类型及用途说明如下。

• 均衡效果器：子类型是kAudioUnitSubType_NBandEQ,主要作用是为声音的某些频带增强或者减弱能量，该效果器需要制定多个频带，然后为各个频带设置带宽设置宽度以及增益，最终将改变声音在频域上的能量分布。
• 压缩效果器：子类型是kAudioUnitSubType_DynamicsProcessor,主要作用是当声音较小的时候可以提高声音的能量，当声音的能量草果设置的阈值时，可以降低声音的能量，当然应合理的设置作用时间、释放时间以及触发值，使得最终可以将声音在时域上的能量压缩到一定范围之内。
• 混响效果器：子类型是kAudioUnitSubType_Reverb2,对于人声处理来讲这是非常重要的效果器，可以想象自己身处在一个空房子中，如果有非常多的反射声和原始声叠加在一起，那么从听感上可能会更有震撼力，但是同时原始声音也会变得更加模糊，原始声音的细节会被遮盖住，所以混响的设置的大小对于不同的人来讲会很不一致，可以根据自己的喜好来进行设置。
  Effect Unit下最长使用的就是这三种效果器，当然其下还有很多子类型的效果器，像高通（HighPass）、低通(LowPass)、带通(BandPass)、延迟(Delay)、压限（Limiter）等效果器，大家可以自行尝试一下，感受一下各自的效果。

(2)Mixer Units

类型是kAudioUnitType_Mixer,主要提供Mix多路声音的功能。其子类型及用途如下。

• 3D Mixer:该效果器在移动设备上是无法使用的，仅仅在OS X上可以使用，所以这里不做介绍。
• MultiChannelMixer:子类型是kAudioUnitSubType_MultiChannelMixer,它是多路声音混音的效果器，可以接收多路音频的输入，还可以分别调整每一路音频的增益与开关，并将多路音频合并一路，该效果器在处理音频的图状结构中非常有用。

（3）I/O Units

类型是kAudioUnitType_Output,它的用途就像分类的名字一样，主要提供的就是I/O的功能。其子类型及用途说明如下。

• RemoteIO:子类型是kAudioUnitSubType_RemoteIO,从名字上可以看出，这是用来采集音频和播放音频的，其实当开发者的应用场景中要使用麦克风及扬声器的时候会用到该AudioUnit.
• Generic Output:子类型是kAudioUnitSubType_GenericOutput,当开发者需要进行离线处理，或者说在AUGraph中不适用Speaker(扬声器)来驱动整个数据流，而是希望使用一个输出（可以放入内存队列或者进行磁盘I/O操作）来驱动数据时，就使用该类型。

（4）Format Converter Units

类型是kAudioUnitType_FormatConverter,主要用于提供格式转换的功能，比如：采样格式由Float到SInt16的转换、交错和平铺的格式转换、单双声道的转换等，其子类型及用途说明如下。

• AUConverter:子类型是kAudioUnitSubType_AUConverter,格式转换效果器，当某些效果器对输入的音频格式由明确的要求时，或者开发者将音频数据输入给一些其他的编码器进行编码，又或者开发者想使用SInt16格式的PCM裸数据在其他CPU上进行音频算法计算等的场景下，就需要这个ConverterNode了。下面来看一个比较典型的场景，我们自定义一个音频播放器，由FFmpeg解码出来的PCM数据是SInt16格式的，因此不能直接输出给RemoteIO Unit,最终才能正常播放出来。
• Time Pinch:子类型是kAudioUnitSubType_NewTimePitch,即变速变调效果器，可以对声音的音高、速度进行调整。

（5）Generator Units

类型是kAudioUnitType_Generator,在开发中我们经常使用它来提供播放器的功能，其子类型及用途说明如下。

• AudioFilePlayer:子类型是kAudioUnitSubType_AudioFilePlayer,在AudioUnit里面，如果我们的输入不是麦克风，而希望其实一个媒体文件。需要注意的是，必须在初始化AUGraph之后，再去配置AudioFilePlayer的数据源以及播放范围等属性，否则就会出现错误，其实数据源还是会调用AudioFile的解码功能，将媒体文件中的压缩数据解压成为PCM裸数据，最终再交给AudioFilePlayer Unit进行后续处理。

5.构造一个AUGraph

实际的K歌应用中，会对用户发出的声音进行处理，并且立即给用户一个耳返（在50ms之内将声音输出到二级中，让用户可以听到）。那么如何让RemoteIOUnit利用麦克风采集出来的声音，经过中间效果器的处理，最终输出到Speaker中播放给用户呢？下面就来介绍一下如何以AUGraph的方式将声音采集、声音处理以及声音输出的整个过程管理起来。

16a8dc6ddfa36bc8.png

首先要知道数据可以在通道中传递是由最右端Speak(RemoteIO Unit)来驱动的，它会向其上一级——AUNode要数据，然后它的前一级继续向前一级要数据，并最终从RemoteIOUnit的Element1(即麦克风)中要数据，这样就可以将数据按相反的方向一级一级地传递下去，最终传递到RemoteIOUnit的Element0(即Speaker)并播放给用户听到。当然你想离线处理的时候应该由谁来进行驱动呢？其实在进行离线处理的时候应该使用Mixer Unit大类型下面子类型为Generic Output的AudioUnit来做驱动端。那么这些AudioUnit或者说AUNode是如何进行连接的呢？有两种方式，第一种方式是直接将AUNode连接起来；第二种方式是通过回调的方式将AUNode连接起来。
（1）直接连接的方式

AUGraphConnectNodeInput(mPlayerGraph,mPlayerNode,0,mPlayerIONode,0);

将Audio File Player Unit和RemotelIO Unit直接连接起来，当Remote Unit需要播放数据的时候，就会调用AudioFilePlay Unit来获取数据，这样就把这两个AudioUnit连接起来了。
（2）回调的方式

AURenderCallbackStruct renderProc;
renderProc.inputProc = &inputAvailableCallback;
renderProc.inputProcRefCon = (__bridge void *)self;
AUGraphSetNodeInputCallback(mGraph,ioNode,0,&finalRenderProc);

这段代码首先是构造一个AURenderCallBack的结构体，并制定一个回调函数，然后设置给RemoteIO Unit的输入端，当RemoteIO Unit需要数据输入的时候就会回调该回调函数，回调函数代码如下：

static OSStatus renderCallback(void *inRefCon,AudioUnitRenderActionFlags *ioActionFlags,const AudioTimeStamp *inTimeStamp,UInt32 inBusNumber,UInt32 inNumberFrames,AudioBufferList *ioData)
{
      OSStatus result = noErr;
      _unsafe_unretained AUGraphRecoder *THIS = (__bridge AUGraphRecorder *)inRefCon;
      AudioUnitRender(THIS->mixerUnit,ioActionFlags,inTimeStamp,0,isNumberFrames,ioData);
      result = ExtAudioFileWriteAsync(THIS->finalAudiofile,inNumberFrames,ioData);
      return result;
}

该回调函数主要完成两件事情：第一件事情是去Mixer Unit里面要数据，通过调用AudioUnitRender的方式来驱动Mixer Unit获取数据，得到数据之后放入ioData中，从而填充回到方法中的参数，将Mixer Unit与RemoteIO unit连接了起来；第二件事情则是利用ExtAudioFile将这段声音编码并写入本地磁盘的一个文件中。