ESP32学习笔记（39）——播放MP3文件（内部DAC方式）

一、背景

ESP-ADF 的 API 提供了一种使用编解码器（解码器和编码器）、流或音频处理功能等元素开发音频应用程序的方法。

该框架是通过将Elements组合成一个Pipeline来开发音频应用程序。如下图所示：

将MP3解码器和I2S流两个元素添加进管道，解码器的输入是MP3文件数据流，I2S流将解码后的音频数据输出到片外，各应用程序之间通过事件接口通信。

二、API说明

以下音频元素接口位于 audio_pipeline/include/audio_element.h。

2.1 audio_element_set_read_cb

2.2 audio_element_setinfo

2.3 audio_element_getinfo

以下音频管道接口位于 audio_pipeline/include/audio_pipeline.h。

2.4 audio_pipeline_init

2.5 audio_pipeline_register

2.6 audio_pipeline_link

2.7 audio_pipeline_set_listener

2.8 audio_pipeline_run

2.9 audio_pipeline_resume

以下音频事件接口位于 audio_pipeline/include/audio_event_iface.h。

2.10 audio_event_iface_init

2.11 audio_event_iface_listen

以下 I2S 流接口位于 audio_stream/include/i2s_stream.h。

2.12 i2s_stream_init

2.13 i2s_stream_set_clk

以下 MP3 解码器接口位于 esp-adf-libs/esp_codec/include/codec/mp3_decoder.h。

2.14 mp3_decoder_init

三、DAC音频播放一般步骤

创建音频管道pipeline，将所有元素elements添加入管道，并关联管内元素

• 创建MP3解码器去解码MP3文件并设置用户读文件回调函数
• 创建写入到编解码芯片的I2S数据流
• 注册所有元素elements到音频管道pipeline
• 将所有元素链接起来

↓
设置事件监听器

• 监听来自管道中所有元素的事件

↓
启动音频管道
↓
关闭音频管道

四、代码分析

使用 esp-adf\examples\get-started\play_mp3_dac 中的例程

4.1 创建音频管道，将所有元素添加入管道，并关联管内元素

使用 ADF 进行开发的应用程序的基本构建块是audio_element对象。每个解码器、编码器、过滤器、输入流或输出流实际上都是一个音频元素。

一组链接元素的动态组合是使用音频管道完成的。您不处理单个元素，而只处理一个音频管道。每个元素都由一个环形缓冲区连接。音频管道还负责将消息从元素任务转发到应用程序。

void app_main(void)
{
    //定义一个音频处理管道
    audio_pipeline_handle_t pipeline;
    //因为是实现本地播放，只需定义i2s流和MP3解码两个元件
    audio_element_handle_t i2s_stream_writer, mp3_decoder;
    ···
    ESP_LOGI(TAG, "[ 1 ] Create audio pipeline, add all elements to pipeline, and subscribe pipeline event");
    audio_pipeline_cfg_t pipeline_cfg = DEFAULT_AUDIO_PIPELINE_CONFIG();
    //初始化管道
    pipeline = audio_pipeline_init(&pipeline_cfg);
    mem_assert(pipeline);

    ESP_LOGI(TAG, "[1.1] Create mp3 decoder to decode mp3 file and set custom read callback");
    mp3_decoder_cfg_t mp3_cfg = DEFAULT_MP3_DECODER_CONFIG();
    //初始化MP3解码器元素
    mp3_decoder = mp3_decoder_init(&mp3_cfg);
    //设置解码回调函数
    audio_element_set_read_cb(mp3_decoder, mp3_music_read_cb, NULL);

    ESP_LOGI(TAG, "[1.2] Create i2s stream to write data to ESP32 internal DAC");
    i2s_stream_cfg_t i2s_cfg = I2S_STREAM_INTERNAL_DAC_CFG_DEFAULT();
    i2s_cfg.type = AUDIO_STREAM_WRITER;
    //初始化I2S流元素
    i2s_stream_writer = i2s_stream_init(&i2s_cfg);

    ESP_LOGI(TAG, "[1.3] Register all elements to audio pipeline");
    //注册元素到管道中去
    audio_pipeline_register(pipeline, mp3_decoder, "mp3");
    audio_pipeline_register(pipeline, i2s_stream_writer, "i2s");

    ESP_LOGI(TAG, "[1.4] Link it together [mp3_music_read_cb]-->mp3_decoder-->i2s_stream-->[ESP32 DAC]");
    const char *link_tag[2] = {"mp3", "i2s"};
    //关联管内元素
    audio_pipeline_link(pipeline, &link_tag[0], 2);
    ···
}

audio_element_set_read_cb() 这个接口必不可少。这个API接口允许应用程序为管道中的第一个audio_element设置一个读回调，这个读回调提供和其他系统相联系的接口。当每次音频元素需要待处理的数据，这个函数被调用。

MP3解码回调函数如下所示：

int mp3_music_read_cb(audio_element_handle_t el, char *buf, int len, TickType_t wait_time, void *ctx)
{
    static int mp3_pos;
    int read_size = adf_music_mp3_end - adf_music_mp3_start - mp3_pos;
    if (read_size == 0) {
        return AEL_IO_DONE;
    } else if (len < read_size) {
        read_size = len;
    }
    memcpy(buf, adf_music_mp3_start + mp3_pos, read_size);
    mp3_pos += read_size;
    return read_size;
}

4.2 设置事件监听器

ADF 提供事件接口 API 以在管道中的音频元素之间建立通信。API 是围绕 FreeRTOS 队列构建的。它实现了“侦听器”来监视传入的消息并通过回调函数通知它们。

void app_main(void)
{
    ···
    ESP_LOGI(TAG, "[ 2 ] Set up  event listener");
    //音频解码事件初始化
    audio_event_iface_cfg_t evt_cfg = AUDIO_EVENT_IFACE_DEFAULT_CFG();
    audio_event_iface_handle_t evt = audio_event_iface_init(&evt_cfg);

    ESP_LOGI(TAG, "[2.1] Listening event from all elements of pipeline");
    //监听管道事件
    audio_pipeline_set_listener(pipeline, evt);
    ···
    while (1) {
        //获取事件消息，如果事件定义过了，就去读取事件消息
        audio_event_iface_msg_t msg;
        esp_err_t ret = audio_event_iface_listen(evt, &msg, portMAX_DELAY);
        if (ret != ESP_OK) {
            ESP_LOGE(TAG, "[ * ] Event interface error : %d", ret);
            continue;
        }
        ···
    }
    ···  
}

4.3 启动音频管道

启动音频管道。调用 audio_pipeline_run() 这个函数后，就会为管道中的所有Elements创建Tasks。

void app_main(void)
{
    ···
    ESP_LOGI(TAG, "[ 3 ] Start audio_pipeline");
    //运行管道
    audio_pipeline_run(pipeline);
    ···
}

4.4 关闭音频管道

void app_main(void)
{
    ···
    ESP_LOGI(TAG, "[ 4 ] Stop audio_pipeline");
    //停止所有链接的元素
    audio_pipeline_stop(pipeline);
    audio_pipeline_wait_for_stop(pipeline);
    //停止音频管道
    audio_pipeline_terminate(pipeline);
    //注销元素
    audio_pipeline_unregister(pipeline, mp3_decoder);
    audio_pipeline_unregister(pipeline, i2s_stream_writer);

    //移除监听
    /* Terminate the pipeline before removing the listener */
    audio_pipeline_remove_listener(pipeline);

    /* Make sure audio_pipeline_remove_listener is called before destroying event_iface */
    //打断事件
    audio_event_iface_destroy(evt);
    /* Release all resources */
    //释放所有资源
    audio_pipeline_deinit(pipeline);
    audio_element_deinit(i2s_stream_writer);
    audio_element_deinit(mp3_decoder);
}

4.5 主循环

void app_main(void)
{
    ···
    /*
    主循环有三个判断:
    判断1：判断事件接口是否定义成功，若成功，ret应当有效。
    判断2：判断当前是否处于解码阶段，获取解码器相关信息，并显示，然后设置i2s数据流相关参数。
    判断3：判断是否处于i2s数据流阶段，并且data已停止。退出循环。
    */
    while (1) {
        //获取事件消息，如果事件定义过了，就去读取事件消息
        audio_event_iface_msg_t msg;
        esp_err_t ret = audio_event_iface_listen(evt, &msg, portMAX_DELAY);
        if (ret != ESP_OK) {
            ESP_LOGE(TAG, "[ * ] Event interface error : %d", ret);
            continue;
        }
        
        //获取MP3解码器的的消息指针，并在其后显示相关信息
        if (msg.source_type == AUDIO_ELEMENT_TYPE_ELEMENT && msg.source == (void *) mp3_decoder
            && msg.cmd == AEL_MSG_CMD_REPORT_MUSIC_INFO) {
            audio_element_info_t music_info = {0};
            audio_element_getinfo(mp3_decoder, &music_info);

            ESP_LOGI(TAG, "[ * ] Receive music info from mp3 decoder, sample_rates=%d, bits=%d, ch=%d",
                     music_info.sample_rates, music_info.bits, music_info.channels);
            //根据上面读取到的信息，设置i2s流
            audio_element_setinfo(i2s_stream_writer, &music_info);
            //设置i2s流相关参数
            i2s_stream_set_clk(i2s_stream_writer, music_info.sample_rates, music_info.bits, music_info.channels);
            continue;
        }

        /* Stop when the last pipeline element (i2s_stream_writer in this case) receives stop event */
        if (msg.source_type == AUDIO_ELEMENT_TYPE_ELEMENT && msg.source == (void *) i2s_stream_writer
            && msg.cmd == AEL_MSG_CMD_REPORT_STATUS
            && (((int)msg.data == AEL_STATUS_STATE_STOPPED) || ((int)msg.data == AEL_STATUS_STATE_FINISHED))) {
            break;
        }
    ···
}

4.6 实例中mp3文件处理

/*
   To embed it in the app binary, the mp3 file is named
   in the component.mk COMPONENT_EMBED_TXTFILES variable.
*/
extern const uint8_t adf_music_mp3_start[] asm("_binary_adf_music_mp3_start");
extern const uint8_t adf_music_mp3_end[]   asm("_binary_adf_music_mp3_end");

五、硬件连接

ESP32 内置的 DAC 对应的外部引脚是 GPIO25 和 GPIO26
在 ESP32-LyraT 开发板上 GPIO25 和 GPIO26 分别对应 I2S 引脚的 LRCK 和 DSDIN

GPIO25 +--------------+
                      |  __  
                      | /  \ _
                     +-+    | |
                     | |    | |  Earphone
                     +-+    |_|
                      | \__/
             330R     |
GND +-------/\/\/\----+
                      |  __  
                      | /  \ _
                     +-+    | |
                     | |    | |  Earphone
                     +-+    |_|
                      | \__/
                      |
GPIO26 +--------------+

将3W 4Ω喇叭进行连接，其中喇叭一个引脚接 GPIO25，另外一个引脚接地。

六、DAC方式替代Codec方式例程的注意事项

尤其需要进行以下更改：

• 删除或注释掉执行编解码器芯片初始化的代码：

audio_board_handle_t board_handle = audio_board_init();
audio_hal_ctrl_codec(board_handle->audio_hal, AUDIO_HAL_CODEC_MODE_BOTH, AUDIO_HAL_CTRL_START);

• 找到执行输出I2S流配置的代码：

i2s_stream_cfg_t i2s_cfg = I2S_STREAM_CFG_DEFAULT();

并将其更改为通过DAC处理数据：

i2s_stream_cfg_t i2s_cfg = I2S_STREAM_INTERNAL_DAC_CFG_DEFAULT();

---

• 由 Leung 写于 2021 年 7 月 27 日

• 参考：NodeMCU-32S-内部DAC音频输出测试