CoreAudio的编程接口分为3层,如下图所示
Low-Level Services包含:
1.I/O Kit:驱动
2.AudioHAL:音频硬件抽象层,为硬件提供一个设备独立、驱动独立的接口
3.Core MIDI:提供服务于MIDI流和设备的软件抽象
4.Host Time Services:提供访问计算机时钟
Mac apps 可以被创建成直接应用这些技术,当它们需要尽可能实时的性能。然而,很多音频程序并不能访问这些层级。事实上,在iOS中核心音频为实现实时音频运用更高层级接口提供方法。OpenAL, 举个例子,在游戏中为实时音频使用I/O,但是实际是确实一个小得多,转换API适当的设置移动设备。
在核心音频中Middle-Level Layer,包括数据格式转换、硬盘的读写,解析刘文建,还要插件的使用。
1.Audio Converter Services:让应用程序处理音频数据格式转换。
2.Audio File Services:读写基于硬盘的音频数据。可以解析采样频率、码率、时长等信息,分离音频文件的音频帧
3.Audio Unit Services(播放音频数据) 和 Audio Processing Graph Services(音效处理模块):让应用程序处理DSP(数字信号处理)插件,像均衡器和混音器。
4.Audio File Stream Services:让你创建的应用程序可以解析音频流文件,就像通过网络连接播放流文件。
5.Core Audio Clock Services:支持音频和MIDI同步以及基于时间的转换。
6.Audio Format Services(一个小的API, 在图中并没有展示),协助管理应用程序中的音频数据格式。
在iOS中核心音频提供这些服务的一大部分:在核心音频 High-level Services包括结合了较低层特点的更直接的接口。
1.Audio Queue Services提供你记录、播放、暂停、循环和同步音频。它使用必要的编解码器去压缩音频格式。
2.AVAudioPlayer:为播放音频和循环提供了一个简单的OC接口,以及实现快进和快退。高级接口,可以完成整个音频播放过程,但是不能实现混音器和均衡器功能。
3.Extended Audio File Services:结合了Audio File Services和 Aduio Converter Services的特点。它给你提供了一个用于读写未压缩和压缩声音文件。
4.OpenAL是定位音频的开源OpenAL标准的核心音频的实现。它是建立在系统提供的3D混音器音频单元的顶部。所有的应用程序都可以使用OpenAL,尽管它最合适用于游戏开发。
音频一般播放的流程:
1.读取音频文件
2.解析采样频率、码率、时长等信息,分离音频文件的音频帧。
Audio File Service 读写音频数据,Audio File Stream Services:对音频进行解码
3.对分离出来的音频真解码得到PCM数据
Audio Converter services:音频数据转换
4.对PCM数据进行音效处理(均衡器、混音器,非必须的)
Audio Process Graph Services:音效处理模块
5.把PCM数据解码成音频信号6.把音频信号交给硬件播放
Aduio Unit Services:播放音频数据
7.重复1-6步
Framework
直到播放完成如上就是音频核心API三个层级以及各个层级内容的功能关于Framework这里只关注与iOS有关系的.
AudioToolbox.framework :Audio Session Services:作为管理你应用程序在手机和iPod设备中的音频行为。
AudioUnit.framework:Audio Unit Services
AVFoundation.framework:提供AVAudioPlayer class
CoreAudio.framework:提供跨核心音频以及底层服务接口的数据类型。
OpenAL.framework:OpenAL
iOS不支持的有:CoreAudioKit.framework CoreMIDI.frame CoreMIDIServer.framework
附录CoreAudio framework 描述了所有这些框架,以及他们包含的头文件。
Proxy Objects:
核心音频运用代理对象的概念来表示注入文件、流、音频播放器等等。当你希望你的应用程序使用磁盘上的音频文件,举个例子,第一步是将音频文件对象实例化为AudioFileID类型。这个对象在AudioFile.h顶部被声明为一个不透明的数据结构。
typedef struct OpaqueAudioFileID *AudioFileID;
你实例化一个音频文件对象,并且创建一个实际的音频文件绑定到一个调用AduioFileCreateWithURL函数的对象。该函数给你一个新的音频文件对象的引用。从那时起,你才通过代理使用真正的音频文件。
这种机制贯穿整个核心音频,无论是你播放音频文件、iPhone audio sessions 更甚者是硬件设备。
Properties, Scopes, and Elements
大部分核心音频接口运用属性机制来管理对象状态和精简对象行为。属性就是键值对。
属性key值是特殊的枚举变量缩写,诸如kAudioFileProperyFileFormar或者kAudioQueueDevicePropery_NumberChannels.
属性value值是一个特定的数据类型,合适的目标属性-void、Float64、 AudioChannelLayout结构等等。
这里有很多苹果定义的属性。你将会在Core Audio framework的头文件中找到他们的定义。有些核心音频的接口,如Audio Unit Services, 也让你自己定义自己的属性。
核心音频接口运用存储器函数取回一个对象的属性值,如果是一个可写的属性,修改它的值。你也会找到一个第三方的存储器来获取属性的信息。例如,Audio Unit Services的AudioUnitGetProperyInfo告诉你一个给定的属性值的数据类型大小以及是否可以修改它。Audio Queue Services的AudioQueueGetPropertySize获取指定属性值得大小。
核心音频接口提供一个通知你app属性值是否改变的机制。你可以在Callback Functions:Interacting with Core Audio中读到。
在某些情况下,属性应用于作为整体的音频对象。例如,在回放的音频队列中计算音频level(啥意思。。level???),你可以设置他的kAudioQueueProperty_EnableLabelMetering 的属性为true.
其他核心音频对象有内部的结构,每一个都有他们特殊的的属性设置。例如,一个音频单元有输入、输出和全局范围。一个音频单元的输入或者输出都由一个或者多个属性组成,每一个元素类似于音频硬件中的信道总线。当你用kAudioUnitPropery_AudioChannelLayout属性调用AudioUnitGetPropery函数,你不仅指定你想要的音频单元信息而且是范围和元素。
参考:iOS音频播放 (一):概述