Android Audio Effect 机制初探

Android AudioEffect

前言

支持多媒体是Android设备的一个重要功能，可以想象一台不支持多媒体的设备是何等枯燥。通常意义上的多媒体(Multimedia)通常是指图片、视频、音频、文本等等。这其中对于音频的需求最高。可以通过种种手段来提升音频的体验，总体分为软件和硬件两大类。例如：HiFi耳机、smartPA、音源修复算法、音效算法等等。软件层面，可以大致分为基于音频数据流的处理方式以及基于Android的音效框架的处理方式。基于音频数据流的处理方式比较容易理解，基本原理就是先把数据丢给3rd的库进行处理，接着将处理完成的数据重新写入原有数据流的节点即可。这里主要探讨下基于Android的音效框架的处理方式。

1. 通过本文可以有如下的初步了解
2. 可以指导修复基于Android原生audido effect架构的音效问题
3. 可以知道集成类似audio effect的集成、开发等工作 可以了解Android 原生effect架构

Android AudioEffect框架

AudioEffect Framework Java框架

Framework java层的结构如下图所示。向上层提供了一系列基础的用于控制audio effect的类。需要注意的是，不建议直接使用AudioEffect这个父类；父类只是提供了统一的方法，并不是‘音效’的具体实现。

AudioEffect C/C++

这部分是其主要实现，主要从如下方面入手进行介绍。

AudioEffect 的调用关系

从初始化说起；所有的具体音效的java接口都继承自AudioEffect.java，AudioEffect或调用native_setup 进行初始化。接下来的流程如下图所示,一步步的跟就可以。其中Threads /AudioFilger/AudioSystem用的比较多了，不针对去进行说明了。这里主要针对EffectModule /EffectChain/EffectHandle 这三个类进行一下介绍。EffectChain EffectModule EffectHandle

EffectModule

EffectModule是一个封装类，封装了3rd音效引擎的实现；可以控制类似process()\command()通过不同进程的并发调用。保存着一个用于同所有客户端进行同步的EffectHandle用于处理音效状态、参数更改；EffectModule同时管控着音效引擎的状态机：重置、使能、以及在状态切换过程中的声音淡入淡出效果。

EffectHandle

EffectHandle是IEffect接口的具体实现，他提供了一系列资源来接受参数更新、跟踪效果控制的所有权和状态；并具有一个指向EffectModule的指针控制着EffectModule对象。每个应用只能使用一个EffectHandle来控制。EffectHandle由AudioFlinger::createEffect()创建。

EffectChain

EffectChain展示了一系列音效同audio session之间的关系；每一个output mixer thread (playbackthread)可以关联任意多个EffectChain对象。当EffectChain同ID为0的session关联时，EffectChain作用于所有的output mix。
EffectChain EffectMode EffectHandle这三者的关系类似于MVC.当然这里的view说起来可能有些牵强。但可以这么来理解EffectMode就算这里的Model，EffectHandle就是这里的control,EffectChain就是这里的View。总的来说：EffectChain代表了一系列音效之前的关系，EffectMode是所有音效实现的抽象，EffectHandle是所有音效的操作的抽象。

图1-1 audio effect常见类时序图
从上图看到，我们不仅仅需要将上层的信息应用到音效库中(setParamater),我们还需要感知下层的状态；这里选择了一个统一的函数指针作为信息传递的中介。先来看看签名:
typedef void (*effect_callback_t)(int32_t event,void *user,void *info);event 代表不同的消息类型，user代表传递给的不同客户端，info代表所携带的信息

图1-2 effectCallback 函数签名
当下层的音效引擎的相关状态发生改变时，由该机制通知客户端。同一音效引擎可以被多个客户端复用，但是在同一时刻只能有一个是处于活动状态。不同的状态取值如event_type所示：

图1-3 传递event类型
EVENT_CONTROL_STATUS_CHANGE:
当另一客户端尝试使用相同的type、优先级更高的参数创建AudioEffect时，当前客户端会获得effect engine的控制权；对应的另一客户端就丢失了控制权并发出该状态
EVENT_ENABLE_STATUS_CHANGED：
当disable/enable时，所有没有获得effect控制的，或者说不是在激活状态的effect都会收到该状态
EVENT_PARAMETER_CHANGE：
当参数更新时，会收到该状态
EVENT_ERROR：
当media server process dies时会受到该状态
通常情况下，绝大部分APPS是由java语言编写，但通过函数指针的方式我们最多可以将状态从底层的so库传递到JNI层；如何将so库中的状态传递到上层的APPS中，是接下来要讨论的。这里APPS，我们先简单的理解成AudioEffect.java的一个实例，audioEffect_class是AudioEffect.class的引用；audioEffect_ref则是指AudioEffect的一个实例；相关数据结构如下所示：

图1-4 JNI存储java对象数据结构
接下来了解下初始化的过程，很简单获得AudioEffect.class的一个引用，保存AudioEffect的一个实例;然后将保存有AudioEffect.class引用和AudioEffect实例的结构体的地址给AudioEffect的构造函数。如下图所示

图1-5 JNI中保存java对象的初始化
AudioEffect构造函数如下所示:

图1-6 AudioEffect构造函数

如何启动

Audio effect的启动，或者说所有audio effect so的加载是基于audiopolicy services来进行的。当AudioPolicyServices启动之后，会创建一个AudioPolicyEffect对象；在AudioPolicyEffect构造函数中对所有的effect so进行加载。时序图如下图所示

图1-7 audio effect so 加载过程

Audio Effect 如何实现

说到3rd audio effect的实现，必然会考虑到如何对其进行统一的管理，如何将其抽象出统一的接口。接下来参照如下数据结构audio_effect_library_t定义了所有effect的一个统一接口。

// 所有的音效库必须实现一个名为AUDIO_EFFECT_LIBRARY_INFO_SYM的audio_effect_library_t的结构
typedef struct audio_effect_library_s {
    // tag must be initialized to AUDIO_EFFECT_LIBRARY_TAG
    uint32_t tag;
    // Version of the effect library API
uint32_t version;
    // Name of this library
    const char *name;
    // Author/owner/implementor of the library
    const char *implementor;
    int32_t (*create_effect)(const effect_uuid_t *uuid,
                             int32_t sessionId,
                             int32_t ioId,
                             effect_handle_t *pHandle);
    int32_t (*release_effect)(effect_handle_t handle);
    int32_t (*get_descriptor)(const effect_uuid_t *uuid,
                              effect_descriptor_t *pDescriptor);
} audio_effect_library_t;

看具体的实例，downmix(frameworks/av/media/libeffects/downmix/)。将create_effect\release_effect\get_descriptor函数指针具体化。

// This is the only symbol that needs to be exported
__attribute__ ((visibility ("default")))
audio_effect_library_t AUDIO_EFFECT_LIBRARY_INFO_SYM = {
    .tag = AUDIO_EFFECT_LIBRARY_TAG,
    .version = EFFECT_LIBRARY_API_VERSION,
    .name = "Downmix Library",
    .implementor = "The Android Open Source Project",
    .create_effect = DownmixLib_Create,
    .release_effect = DownmixLib_Release,
    .get_descriptor = DownmixLib_GetDescriptor,
};

audio_buffer_t定义了音效输入输出的数据格式

struct audio_buffer_s {
    size_t   frameCount;// number of frames in buffer
    union {
        void*       raw;// raw pointer to start of buffer
        int32_t*    s32;// pointer to signed 32 bit data at start of buffer
        int16_t*    s16;// pointer to signed 16 bit data at start of buffer
        uint8_t*    u8; // pointer to unsigned 8 bit data at start of buffer
    };
};

effect_param_t定义了音效之间、系统上下之间的通信协议(数据、格式等等)

// effect_param_s structure describes the format of the pCmdData argument of EFFECT_CMD_SET_PARAM
// command and pCmdData and pReplyData of EFFECT_CMD_GET_PARAM command.
// psize and vsize represent the actual size of parameter and value.
typedef struct effect_param_s {
// Transaction status (unused for command, used for reply)
    int32_t     status;
    uint32_t    psize;      // Parameter size
    uint32_t    vsize;      // Value size
    char        data[];     // Start of Parameter + Value data
} effect_param_t;