Hi35xx音频（AUDIO）处理模块

    本来音频模块不属于我的，但为了团队，为了更好的工作，更重要的是为了自己，看看吧，可我之前对音频处理这一块几乎没接触过，一片空白，怎么办呢，没办法，我只有把手册从头到尾关于音频的好好的整理了一下，由于CSDN特性即难插图片，所以省略了图表说明，希望对从事Hi35XX系列的同志们有所帮助。。。。。

    我这干的是苦力活，即把手册整理（copy）了一下，万事都是这样子开始的。。。。。。。

    我们需要处理的是：1.音频输入-》编码-》网络传输出去。2、网络获取音频数据-》解码-》输出。

 

    AUDIO模块包括音频输入、音频输出、音频编码、音频解码四个子模块。音频输入和输出模块通过对 Hi3520/Hi3515芯片SIO设备的控制实现相应的音频输入输出功能；音频编码和解码模块则提供对 ADPCM、G726、G711、AMR格式的音频编解码功能。

一、重要概念

声音

  能量波，有频率有振幅，频率高低就是音调，振幅大小就是音量；采样率是对频率采样，采样精度是对幅度采样，人耳能听到的频率范围是200-20KHz。

CODEC

    音频压缩CO+解压缩DEC，CODEC就是多媒体数字信号编解码器，主要负责DAC和ADC。不管是音频加速器好，还是I/O控制器好，他们输入输出的都是纯数字信号，我们要使用声卡上的Line Out插孔输出信号的话，信号就必须经过声卡上的CODEC的转换处理。可以说，声卡模拟输入输出的品质和CODEC的转换品质有着重大的关系，音频加速器或I/O控制器决定了声卡内部数字信号的质量，而CODEC则决定了模拟输入输出的好坏。

SIO及 AI、AO设备

    音频输入输出接口 SIO（Sonic Input/Output），用于和片外 Audio CODEC芯片连接，完成音乐（语音）的播放及录制。Hi3520芯片提供3个 SIO接口，Hi3515芯片提供 2个 SIO接口，依次标示为 SIO0、SIO1、SIO2。每个 SIO接口都能同时提供音频输入和音频输出功能（但由于芯片管脚的限制，各个 SIO支持的情况是不一样的）。

    SIO0 能同时提供音频输入和输出功能，SIO1能提供音频输入功能； Hi3520相对

    Hi3515 而言，增加了 SIO1的输出功能和 SIO2的输入功能，但这两者是复用关系，即只能选择其中一种功能，并且芯片管脚也是复用的。

软件 SDK将音频输入和输出功能分别用 AI和 AO两个模块来管理，AI和 AO又按照 SIO序号来区分不同的 SIO接口。例如 SIO0的输入接口称为 AI0设备，SIO0的输出接口称为 AO0设备，SIO1的输入接口称为 AI1设备。

音频接口时序

    SIO接口支持标准的I2S接口时序模式（I2S只处理音频），并提供灵活的配置以支持与多种 AUDIO CODEC 对接。详细的时序支持情况请参考《Hi3520/Hi3515 H.264编解码处理器用户指南》。

用户需要对 I2S协议以及对接的 CODEC时序支持情况有足够了解，这里只简单介绍下 Hi3520/Hi3515 I2S接口时序的几个特性：

    −  按照标准 I2S协议，总是先传送 MSB（高位），后传送 LSB（低位），即按照从高位到低位的顺序传输串行数据。

    −  Hi3520/Hi3515 SIO支持扩展的多路接收的 I2S接口时序，对接 CODEC的时序支持情况、时钟、位宽等配置必须与 Hi3520/Hi3515的配置保持一致，否则可能采集不到正确的数据。

    −  Hi3520/Hi3515 SIO支持I2S主模式和 I2S从模式，主模式即 SIO提供时钟，从模式即 CODEC提供时钟；主模式时 SIO提供的时钟供输入和输出共同使用，而从模式时的输入输出可以分别由外围 CODEC提供时钟。

AI、AO通道

标准的I2S协议只有左右声道这两个通道的概念，Hi3520/Hi3515 SIO同时能够支持多路复用的接收模式，最大支持 16bit 16 通道的 I2S数据接收。SIO本身并不关心具体的通道分布，通道由软件 SDK来管理；根据输入和输出的不同，分为 AI通道和 AO通道，通道又隶属于设备，例如 AiDev0下可支持多个通道 AiChn0、AiChn1、…、AiChn16，具体支持的通道个数由用户根据对接时序要求来做相应的配置。

AI、AO通道排列

    必须理解对接 CODEC通道和 AI、AO通道的对应关系，才能从正确的通道获取数据。

Hi3520/Hi3515 SIO在一个帧同步时钟内，最大能接收16bit%16chn=256bit的音频串行数据；如图 9-2 （图片太大，不便输出）所示，通道的排列顺序与 SIO取数据的顺序一致，即从高位到低位排列；SIO实际取的数据多少由配置的通道路数和采样精度决定。

音频帧结构体

typedef struct hiAUDIO_FRAME_S

{ 

  AUDIO_BIT_WIDTH_E  enBitwidth;                      //音频采样精度

  AUDIO_SOUND_MODE_E  enSoundmode;          //音频声道模式。

  HI_U8  aData[MAX_AUDIO_FRAME_LEN*2];   //实际音频帧数据

  HI_U64  u64TimeStamp;                                          //音频帧时间戳。以μs为单位

  HI_U32  u32Seq;                                                     //音频帧序号

  HI_U32  u32Len;                                                     //音频帧长度。以 byte为单位。

}AUDIO_FRAME_S;

    A. u32Len（音频帧长度）指单个声道的数据长度。

    B. 单声道数据直接存放，采样点数为 ptnum，长度为 len；立体声数据按左右声道分开存放，先存放采样点为 ptnum、长度为 len 的左声道数据，然后存放采样点为ptnum，长度为 len的右声道数据。

 

二、API参考

1.音频输入

    频输入（AI）主要实现配置及启用音频输入设备、获取音频帧数据等功能。

1.设置/获取 AI 设备属性

HI_S32 HI_MPI_AI_SetPubAttr(AUDIO_DEV AudioDevId,const AIO_ATTR_S  *pstAttr);

HI_S32 HI_MPI_AI_GetPubAttr(AUDIO_DEV AudioDevId, AIO_ATTR_S*pstAttr);

A.音频输入设备的属性决定了输入数据的格式，输入设备属性包括 SIO工作模式、采样率、采样精度、buffer大小、每帧的采样点数、扩展标志、时钟选择和通道数目。

− 工作模式

SIO输入输出目前支持 I2S主模式和 I2S从模式。

− 采样率

采样率指一秒中内的采样点数，采样率越高表明失真度越小，处理的数据量也就随之增加。主模式下 AI支持 8k～48k的采样率，一般来说语音使用 8k采样率，音频使用 32k或以上的采样率；在从模式下，采样率由 codec芯片决定。

− 采样精度

采样精度指某个通道的采样点数据宽度，同时决定整个设备的通道分布。采样位宽可以设置为 8bit、16bit和 32bit。

−  buffer大小

buffer大小以帧为单位，每帧的采样点数和采样精度决定帧长，buffer大小设置当前能容纳帧的个数。

− 扩展标志

扩展标志表明在 8bit采样精度的条件下是否需要对 8bit数据进行 8bit到 16bit带符号扩展，扩展后获取的数据就为 16bit，以满足编码器需求。在设置非 8bit采样精度的情况下，此标志是无效的。

− 通道数目

通道数目指当前 SIO设备的 AI功能支持的最大通道数目，需与对接的 AUDIO CODEC的配置保持一致；支持 2路、4路、8路和 16路。

− 时钟选择

AUDIO CODEC 提供时钟（即 I2S从模式）时，如果能提供独立的 AD和 DA功能信号（即 RCK/RFS/XCK/XFS），那么将此项配置为 0，否则配置为 1。

B.在设置属性之前需要保证 AI处于非启用状态，如果处于启用状态则需要首先禁用AI设备。

C.同一 SIO下的 AI和 AO设备的主从模式、时钟选择应该一致，否则设置属性时会返回错误。

D.在从模式下，采样率的设置不起作用。

E. AI 必须和 AD配合起来才能正常工作，用户必须清楚 AD采集的数据分布和通道的关系才能从正确的通道取得数据。

E.获取的属性为前一次配置的属性。

F. 如果从来没有配置过属性，则返回属性未配置的错误。

定义音频输入输出设备属性结构体:

typedef struct hiAIO_ATTR_S

{

 AUDIO_SAMPLE_RATE_E  enSamplerate;        //音频采样率（从模式下，此参数不起作用）

 AUDIO_BIT_WIDTH_E enBitwidth;                   //音频采样精度（从模式下，此参数必须和音频 AD/DA的采样精度匹配）。

 AIO_MODE_E   enWorkmode;                          //音频输入输出工作模式。  

 AUDIO_SOUND_MODE_E  enSoundmode;     //音频声道模式。

 HI_U32     u32EXFlag;                                       // 8bit到16bit扩展标志（8bit精度时有效）。

 HI_U32    u32FrmNum ;                                    //缓存帧数目

 HI_U32    u32PtNumPerFrm;                             //每帧的采样点个数。

 HI_U32    u32ChnCnt;                                       //支持的最大通道数目。

 HI_U32    u32ClkSel;                                        //时钟选择。

}AIO_ATTR_S;

 

定义音频采样率:

typedef enum hiAUDIO_SAMPLE_RATE_E

{

  AUDIO_SAMPLE_RATE_8000  =8000,    // 8kHz采样率

 AUDIO_SAMPLE_RATE_11025  =11025,   /* 11.025kHz sampling rate */

 AUDIO_SAMPLE_RATE_16000  =16000,   /* 16kHz sampling rate */

 AUDIO_SAMPLE_RATE_22050  =22050,   /* 22.050kHz sampling rate */

 AUDIO_SAMPLE_RATE_24000  =24000,   /* 24kHz sampling rate */

 AUDIO_SAMPLE_RATE_32000  =32000,   /* 32kHz sampling rate */

 AUDIO_SAMPLE_RATE_44100  =44100,   /* 44.1kHz sampling rate */

 AUDIO_SAMPLE_RATE_48000  =48000,   /* 48kHz sampling rate */

}AUDIO_SAMPLE_RATE_E;

 

定义音频采样精度:

typedef enum hiAUDIO_BIT_WIDTH_E

{

  AUDIO_BIT_WIDTH_8  =0,   //采样精度为 8bit位宽

  AUDIO_BIT_WIDTH_16  =1,   /* 16bit/sample */

  AUDIO_BIT_WIDTH_32  =2,   /* 32bit/sample */

 AUDIO_BIT_WIDTH_BUTT,

}AUDIO_BIT_WIDTH_E;

 

定义音频输入输出设备工作模式:

typedef enum hiAIO_MODE_E

{

 AIO_MODE_I2S_MASTER  = 0,       // I2S主模式

  AIO_MODE_I2S_SLAVE  = 1,         // I2S从模式

  AIO_MODE_PCM_SLAVE_STD,    // PCM从模式（标准协议）

  AIO_MODE_PCM_SLAVE_NSTD,  // PCM从模式（非标准协议）

AIO_MODE_BUTT

}AIO_MODE_E;

 

定义音频声道模式:

typedef enum hiAIO_SOUND_MODE_E

{

 AUDIO_SOUND_MODE_MOMO =0,      //单声道momo

 AUDIO_SOUND_MODE_STEREO  =1,   //双声道stereo

 AUDIO_SOUND_MODE_BUTT          

}AUDIO_SOUND_MODE_E;

 

2.启用/禁用 AI 设备

HI_S32 HI_MPI_AI_Enable(AUDIO_DEV AudioDevId);

HI_S32 HI_MPI_AI_Disable(AUDIO_DEV AudioDevId);

A. 必须在启用前配置 AI设备属性，否则返回属性未配置错误。

B. 如果 AI设备已经处于运行状态，则直接返回成功

C.如果 AI设备已经处于非运行状态，则直接返回成功。

D. 禁用 AI设备前必须先禁用该设备下已启用的所有 AI通道。

 

3.启用/禁用AI通道

HI_S32 HI_MPI_AI_EnableChn(AUDIO_DEV AudioDevId, AI_CHN AiChn);

HI_S32 HI_MPI_AI_DisableChn(AUDIO_DEV AudioDevId, AI_CHN AiChn);

A. 启用 AI通道前，必须先启用其所属的 AI设备，否则返回设备未启动的错误码。

 

4.启用/禁用指定 AI 及 AO的回声抵消功能

HI_S32 HI_MPI_AI_EnableAec(AUDIO_DEV AiDevId,  AI_CHN AiChn, AUDIO_DEV AoDevId, AO_CHN AoChn);

HI_S32 HI_MPI_AI_DisableAec(AUDIO_DEV AiDevId, AI_CHN AiChn);

A. 启用回声抵消前必须先启用相对应的 AI设备。

B. 成功启用回声抵消需要具备一定条件：单声道模式，采样率为 8kHz，采样精度为16bit，帧长为 80 或 160个采样点，且 AI和 AO帧长必须相同。以上条件 AI和AO都必须满足（但实际上本接口只检查 AI的属性）。

C. 多次启用相同 AI、AO的回声抵消，则返回成功。

 

5.启用/禁用 AI 重采样

HI_S32 HI_MPI_AI_EnableReSmp(AUDIO_DEV AudioDevId,

AI_CHN AiChn,AUDIO_RESAMPLE_ATTR_S *pstAttr);

HI_S32 HI_MPI_AI_DisableReSmp(AUDIO_DEV AudioDevId, AI_CHN AiChn);

A. 在启用 AI通道之后，绑定 AI通道之前，调用此接口启用重采样功能。

B. 如果启用 AI重采样功能，则在 AI通道输出音频原始数据之前，内部将会先执行重采样处理，处理完后的数据再输出给绑定的 AO或 AENC。

C. 音频重采样属性包含以下项：

−  u32InPointNum：输入音频帧的每帧采样点个数。

−  enInSampleRate：输入音频帧的采样率。

−  enReSampleType：重采样类型，支持 2到1倍、4到 1倍的重采样，例如32kHz降采样到 8kHz或 16kHz降采样到 8kHz。

D. 重采样处理后音频帧的每帧采样点数目会发生变化，调用 HI_MPI_AI_SetPubAttr接口时，音频公共属性中的 32PtNumPerFrm项应该配置为重采样之前的值，本接口中重采样属性中的 u32InPointNum项也配置为重采样之前的值。例如 AI从 32K到 8K重采样，重采样完成后输出给 AO或 AENC的每帧采样点个数将会是重采样前的四分之一，如果期望输出的采样点数为 320，那么公共属性中的 u32PtNumPerFrm项则应配置为 320%4=1280，重采样属性中的 u32InPointNum项也配置成相同值。

E. 不允许重复启用重采样功能，即在再次启用之前需要先将其禁用。

F.不再使用 AI重采样功能的话，应该调用此接口将其禁用。

定义音频重采样属性配置结构体:

typedef struct hiAUDIO_RESAMPLE_ATTR_S

{

HI_U32                      u32InPointNum;                         //输入的每帧采样点个数    

AUDIO_SAMPLE_RATE_E     enInSampleRate;        //输入的采样率

   AUDIO_RESAMPLE_TYPE_E   enReSampleType; //重采样类型

} AUDIO_RESAMPLE_ATTR_S;

 

6.获取音频输入通道号对应的设备文件句柄

HI_S32 HI_MPI_AI_GetFd(AUDIO_DEV AudioDevId ,AI_CHN AiChn)

 

2.音频输出

    音频输出（AO）主要实现启用音频输出设备、发送音频帧到输出通道等功能。

 

3.视频编码

    音频编码主要实现创建编码通道、发送音频帧编码及获取编码码流等功能。

1.创建/销毁音频编码通道

HI_S32 HI_MPI_AENC_CreateChn(AENC_CHN AeChn, const AENC_CHN_ATTR_S

*pstAttr);

HI_S32 HI_MPI_AENC_DestroyChn(AENC_CHN AeChn);

A. 协议类型指定该通道的编码协议，目前支持 G711、G726、ADPCM和 AMR 和AAC，具体内容如表 9-1所示。

B. 表 9-1中列举的编解码协议只支持16bit线性 PCM音频数据处理，如果输入的是8bit采样精度的数据，AENC内部会将其扩展为 16bit；另外，使用 Hi3520 AI时，建议将扩展标志置为 1，使得 AI数据由 8bit自动扩展到 16bit。

C. 海思语音帧结构如表 9-4所示。

D. 音频编码的部分属性需要与输入的音频数据属性相匹配，例如采样率、帧长（每帧采样点数目）等。

E. buffer大小以帧为单位，取值范围是[1, MAX_AUDIO_FRAME_NUM]。

F. 在通道闲置时才能使用此接口，如果通道已经被创建，则返回通道已经创建的错误。

G.先创建完编码通道，再调用此接口，否则返回通道未创建。

H. 如果正在获取/释放码流或者发送帧时销毁该通道，则会返回失败。

定义音频编码通道属性结构体:

typedef struct hiAENC_CHN_ATTR_S 

{ 

 PAYLOAD_TYPE_E enType;  //音频编码协议类型:为一个枚举类型

 HI_U32 u32BufSize;                 //音频编码缓存大小,以帧为单位

HI_VOID *pValue;                 //具体协议属性指针

}AENC_CHN_ATTR_S;

 

定义 ADPCM编解码协议类型

typedef enumhiADPCM_TYPE_E

{

  ADPCM_TYPE_DVI4 = 0,     // 32kbit/s ADPCM(DVI4)

 ADPCM_TYPE_IMA,             // 32kbit/s ADPCM(IMA)

  ADPCM_TYPE_BUTT,

}ADPCM_TYPE_E;

 

2.绑定编码通道与输入通道

HI_S32 HI_MPI_AENC_BindAi(AENC_CHN AeChn, AUDIO_DEV AudioDevId, AI_CHN AiChn,AUDIO);

 

3.获取/释放音频编码码流

HI_S32 HI_MPI_AENC_GetStream(AENC_CHN AeChn, AUDIO_STREAM_S*pstStream ,

HI_U32 u32BlockFlag);

HI_S32 HI_MPI_AENC_ReleaseStream(AENC_CHN AeChn, const AUDIO_STREAM_S

*pstStream);

A. 必须创建通道后才可能获取码流，否则直接返回失败，如果在获取码流过程中销毁通道则会立刻返回失败。

B. 支持阻塞或非阻塞方式获取码流，并且支持标准的 select系统调用。

C. 当阻塞方式获取码流时，如果音频数据 Buffer空则此接口调用会被阻塞，直至Buffer中有新的数据或销毁 AENC 通道。

D. 直接获取 AI原始音频数据的方法:创建一路AENC通道，编码协议类型设置为PT_LPCM，绑定AI通道后，从此AENC通道获取的音频数据即 AI原始数据。

E.码流最好能够在使用完之后立即释放，如果不及时释放，会导致编码过程阻塞等待码流释放。

F. 释放的码流必须是从该通道获取的码流，不得对码流信息结构体进行任何修改，否则会导致码流不能释放，使此码流 buffer丢失，甚至导致程序异常。

G. 释放码流时必须保证通道已经被创建，否则直接返回失败，如果在释放码流过程中销毁通道则会立刻返回失败。

定义音频码流结构体:

typedef struct hiAUDIO_STREAM_S

{ 

 HI_U8  *pStream;                  //音频码流数据指针

 HI_U32 u32Len;                    //音频码流长度。以 byte为单位。

 HI_U64  u64TimeStamp;        //音频码流时间戳。

 HI_U32  u32Seq;                  //音频码流序号。

}AUDIO_STREAM_S;

 

4.音频解码

    音频解码主要实现创建解码通道、发送音频码流解码及获取解码后音频帧等功能。

1.创建/销毁音频解码通道

HI_S32 HI_MPI_ADEC_CreateChn(ADEC_CHN AdChn, ADEC_CHN_ATTR_S *pstAttr);

HI_S32 HI_MPI_ADEC_DestroyChn(ADEC_CHN AdChn);

A. 协议类型指定了该通道的解码协议，目前支持 G711、G726、ADPCM和 AMR 和AAC。各种音频编解码协议的详细说明请参见“9.3.3 音频编码”。）

B. 音频解码的部分属性需要与输出设备属性相匹配，例如采样率、帧长（每帧采样点数目）等。

C. buffer大小以帧为单位，取值范围是[0, MAX_AUDIO_FRAME_NUM]。

D. 在通道未创建前（或销毁后）才能使用此接口，如果通道已经被创建，则返回通道已经创建。

定义解码通道属性结构体:

typedef struct hiADEC_CH_ATTR_S

{

 PAYLOAD_TYPE_E enType;  //音频解码协议类型

 HI_U32   u32BufSize;               //音频解码缓存大小

 ADEC_MODE_E  enMode;   //解码方式

 HI_VOID   *pValue;               //具体协议属性指针

}ADEC_CHN_ATTR_S;

 

定义解码方式:

typedef enum hiADEC_MODE_E

{

ADEC_MODE_PACK = 0,  // pack模式解码

ADEC_MODE_STREAM ,  // stream模式解码。

ADEC_MODE_BUTT

}ADEC_MODE_E;

注：

pack模式用于用户确认当前码流包为一帧数据编码结果的情况下，解码器会直接进行对其解码，如果不是一帧，解码器会出错。这种模式的效率比较高，在使用AENC模块编码的码流包如果没有破坏，均可以使用此方式解码。

stream模式用于用户不能确认当前码流包是不是一帧数据的情况下，解码器需要对码流进行判断并缓存，此工作方式的效率低下，一般用于读文件码流送解码或者不确定码流包边界的情况。当然由于语音编码码流长度固定，很容易确定在码流中的帧边界，推荐使用 pack 模式解码。

 

2.向音频解码通道发送码流

HI_S32 HI_MPI_ADEC_SendStream(ADEC_CHN AdChn,  const AUDIO_STREAM_S *pstStream, HI_U32 u32BlockFlag);

A. 创建解码通道时可以指定解码方式为 pack方式或 stream方式。

B. 发送数据时必须保证通道已经被创建，否则直接返回失败，如果在送数据过程中销毁通道则会立刻返回失败。

C. 支持阻塞或非阻塞方式发送码流。

D. 当阻塞方式发送码流时，如果音频数据 Buffer满则此接口调用会被阻塞，直至取走音频数据或销毁 ADEC通道。

F. 确保发送给 ADEC通道的码流数据的正确性，否则可能引起解码器异常退出。

定义音频码流结构体:

typedef struct hiAUDIO_STREAM_S

{ 

  HI_U8  *pStream;               //音频码流数据指针

  HI_U32 u32Len;                 //音频码流长度。以 byte为单位

  HI_U64  u64TimeStamp;    //音频码流时间戳

HI_U32  u32Seq;                  //音频码流序号

}AUDIO_STREAM_S;

 

3.清除 ADEC通道中当前的音频数据缓存

HI_S32 HI_MPI_ADEC_ClearChnBuf(ADEC_CHN AdChn);

A. 要求解码通道已经被创建，如果通道未被创建则返回通道不存在错误码。

B. 使用本接口时，不建议使用流式解码。使用流式解码进行清除缓存操作时，用户需要确保清除完缓存后，发送给解码器的数据必须是完整的一帧码流，否则可能导致解码器不能正常工作。

C. 无论是否使用流式解码，都要确保送数据解码的操作和清除缓存的操作之间的同步。