使用AudioTrack播放FFmpeg解码的PCM音频数据

开篇

在学习了《Android使用OpenGL渲染ffmpeg解码的YUV数据》一文之后,我们的播放器计划对于视频的处理暂时先告一段落。后面的几篇文章我们主要介绍ffmpeg解码音频并且搭配AudioTrack以及OpenSLES播放PCM原始音频数据。

音频解码

对于使用ffmpeg进行音视频的解码过程,我们来回忆一下这张图:

使用AudioTrack播放FFmpeg解码的PCM音频数据_第1张图片
ffmpeg解码过程

其实音频的解码和视频的解码差不多,同样要经过解封装,获取流索引、初始化解码器上下文、打开解码器、av_read_frame读取包数据、avcodec_send_packet发送到解码器进行解码、avcodec_receive_frame接收解码器数据,这几个过程。

不同的是,视频在avcodec_receive_frame接收到解码数据是YUV,需要经历YUV转换成RGB渲染出来。对于YUV不了解的同学,可参考一下这篇文章《Android使用ffmpeg解码视频为YUV》。

而对于音频则在avcodec_receive_frame接收到的解码数据是PCM原始声音数据,而一般PCM数据都是无法直接播放的,要按照播放的设备标准进行重采样之后生成新的PCM数据才能在特定的设备上播放。例如你解码出来的PCM数据是32位的,但是你的设备只支持16位,这就需要重采样了。又比如说你的设备只支持播放44100的采样率的,而你解码出来的PCM却不是44100的采样率,那也是需要重采样的,当然实际情况不止这两种,这就是重采样的意义所在。

对于音频的重采样主要使用的是ffmpeg的swr_convert函数,重采样的主要代码:

.....省略若干代码

 //准备音频重采样的参数

    int dataSize = av_samples_get_buffer_size(NULL, av_get_channel_layout_nb_channels(AV_CH_LAYOUT_STEREO) , cc_ctx->frame_size,AV_SAMPLE_FMT_S16, 0);

    uint8_t *resampleOutBuffer = (uint8_t *) malloc(dataSize);

    //音频重采样上下文初始化
    SwrContext *actx = swr_alloc();
    actx = swr_alloc_set_opts(actx,
                              AV_CH_LAYOUT_STEREO,
                              AV_SAMPLE_FMT_S16,44100,
                              cc_ctx->channels,
                              cc_ctx->sample_fmt,cc_ctx->sample_rate,
                              0,0 );
    re = swr_init(actx);
    if(re != 0)
    {
        LOGE("swr_init failed:%s",av_err2str(re));
        return re;
    }

.....省略若干代码

//这里为什么要使用一个for循环呢?
            // 因为avcodec_send_packet和avcodec_receive_frame并不是一对一的关系的
            //一个avcodec_send_packet可能会出发多个avcodec_receive_frame
            for (;;) {
                // 接受解码的数据
                re = avcodec_receive_frame(cc_ctx, frame);
                if (re != 0) {
                    break;
                } else {

                    //音频重采样
                    int len = swr_convert(actx,&resampleOutBuffer,
                                          frame->nb_samples,
                                          (const uint8_t**)frame->data,
                                          frame->nb_samples);

                }
            }


使用AudioTrack播放PCM

对于AudioTrack如何使用还不了解的同学建议先自行谷歌学习一下,也就是几个简单的API,这里就不多做介绍了。

因为ffmpeg的解码是在JNI代码中执行的,所以我们直接在JNI通过反射调用Java的方法构造出AudioTrack对象,然后传递数据给AudioTrack对象即可实现播放。

JNI构建AudioTrack对象代码:

 // JNI创建AudioTrack

    jclass jAudioTrackClass = env->FindClass("android/media/AudioTrack");
    jmethodID jAudioTrackCMid = env->GetMethodID(jAudioTrackClass,"","(IIIIII)V"); //构造

    //  public static final int STREAM_MUSIC = 3;
    int streamType = 3;
    int sampleRateInHz = 44100;
    // public static final int CHANNEL_OUT_STEREO = (CHANNEL_OUT_FRONT_LEFT | CHANNEL_OUT_FRONT_RIGHT);
    int channelConfig = (0x4 | 0x8);
    // public static final int ENCODING_PCM_16BIT = 2;
    int audioFormat = 2;
    // getMinBufferSize(int sampleRateInHz, int channelConfig, int audioFormat)
    jmethodID jGetMinBufferSizeMid = env->GetStaticMethodID(jAudioTrackClass, "getMinBufferSize", "(III)I");
    int bufferSizeInBytes = env->CallStaticIntMethod(jAudioTrackClass, jGetMinBufferSizeMid, sampleRateInHz, channelConfig, audioFormat);
    // public static final int MODE_STREAM = 1;
    int mode = 1;

    //创建了AudioTrack
    jobject jAudioTrack = env->NewObject(jAudioTrackClass,jAudioTrackCMid, streamType, sampleRateInHz, channelConfig, audioFormat, bufferSizeInBytes, mode);

    //play方法
    jmethodID jPlayMid = env->GetMethodID(jAudioTrackClass,"play","()V");
    env->CallVoidMethod(jAudioTrack,jPlayMid);

    // write method
    jmethodID jAudioTrackWriteMid = env->GetMethodID(jAudioTrackClass, "write", "([BII)I");

AudioTrack构造好之后,我们在重采样PCM数据之后直接再通过JNI传递PCM数据到AudioTrack就可以播放了。

下面贴一下完整的代码:

extern "C"
JNIEXPORT jint JNICALL
Java_com_flyer_ffmpeg_FFmpegUtils_playAudio(JNIEnv *env, jclass clazz, jstring audio_path) {

    const char *path = env->GetStringUTFChars(audio_path, 0);

    AVFormatContext *fmt_ctx;
    // 初始化格式化上下文
    fmt_ctx = avformat_alloc_context();

    // 使用ffmpeg打开文件
    int re = avformat_open_input(&fmt_ctx, path, nullptr, nullptr);
    if (re != 0) {
        LOGE("打开文件失败:%s", av_err2str(re));
        return re;
    }

    //探测流索引
    re = avformat_find_stream_info(fmt_ctx, nullptr);

    if (re < 0) {
        LOGE("索引探测失败:%s", av_err2str(re));
        return re;
    }

    //寻找视频流索引
    int audio_idx = av_find_best_stream(
            fmt_ctx, AVMEDIA_TYPE_AUDIO, -1, -1, nullptr, 0);

    if (audio_idx == -1) {
        LOGE("获取音频流索引失败");
        return -1;
    }
    //解码器参数
    AVCodecParameters *c_par;
    //解码器上下文
    AVCodecContext *cc_ctx;
    //声明一个解码器
    const AVCodec *codec;

    c_par = fmt_ctx->streams[audio_idx]->codecpar;

    //通过id查找解码器
    codec = avcodec_find_decoder(c_par->codec_id);

    if (!codec) {

        LOGE("查找解码器失败");
        return -2;
    }

    //用参数c_par实例化编解码器上下文,,并打开编解码器
    cc_ctx = avcodec_alloc_context3(codec);

    // 关联解码器上下文
    re = avcodec_parameters_to_context(cc_ctx, c_par);

    if (re < 0) {
        LOGE("解码器上下文关联失败:%s", av_err2str(re));
        return re;
    }

    //打开解码器
    re = avcodec_open2(cc_ctx, codec, nullptr);

    if (re != 0) {
        LOGE("打开解码器失败:%s", av_err2str(re));
        return re;
    }

    //数据包
    AVPacket *pkt;
    //数据帧
    AVFrame *frame;

    //初始化
    pkt = av_packet_alloc();
    frame = av_frame_alloc();

    //音频重采样

    int dataSize = av_samples_get_buffer_size(NULL, av_get_channel_layout_nb_channels(AV_CH_LAYOUT_STEREO) , cc_ctx->frame_size,AV_SAMPLE_FMT_S16, 0);

    uint8_t *resampleOutBuffer = (uint8_t *) malloc(dataSize);

    //音频重采样上下文初始化
    SwrContext *actx = swr_alloc();
    actx = swr_alloc_set_opts(actx,
                              AV_CH_LAYOUT_STEREO,
                              AV_SAMPLE_FMT_S16,44100,
                              cc_ctx->channels,
                              cc_ctx->sample_fmt,cc_ctx->sample_rate,
                              0,0 );
    re = swr_init(actx);
    if(re != 0)
    {
        LOGE("swr_init failed:%s",av_err2str(re));
        return re;
    }

    // JNI创建AudioTrack

    jclass jAudioTrackClass = env->FindClass("android/media/AudioTrack");
    jmethodID jAudioTrackCMid = env->GetMethodID(jAudioTrackClass,"","(IIIIII)V"); //构造

    //  public static final int STREAM_MUSIC = 3;
    int streamType = 3;
    int sampleRateInHz = 44100;
    // public static final int CHANNEL_OUT_STEREO = (CHANNEL_OUT_FRONT_LEFT | CHANNEL_OUT_FRONT_RIGHT);
    int channelConfig = (0x4 | 0x8);
    // public static final int ENCODING_PCM_16BIT = 2;
    int audioFormat = 2;
    // getMinBufferSize(int sampleRateInHz, int channelConfig, int audioFormat)
    jmethodID jGetMinBufferSizeMid = env->GetStaticMethodID(jAudioTrackClass, "getMinBufferSize", "(III)I");
    int bufferSizeInBytes = env->CallStaticIntMethod(jAudioTrackClass, jGetMinBufferSizeMid, sampleRateInHz, channelConfig, audioFormat);
    // public static final int MODE_STREAM = 1;
    int mode = 1;

    //创建了AudioTrack
    jobject jAudioTrack = env->NewObject(jAudioTrackClass,jAudioTrackCMid, streamType, sampleRateInHz, channelConfig, audioFormat, bufferSizeInBytes, mode);

    //play方法
    jmethodID jPlayMid = env->GetMethodID(jAudioTrackClass,"play","()V");
    env->CallVoidMethod(jAudioTrack,jPlayMid);

    // write method
    jmethodID jAudioTrackWriteMid = env->GetMethodID(jAudioTrackClass, "write", "([BII)I");

    while (av_read_frame(fmt_ctx, pkt) >= 0) {//持续读帧
        // 只解码音频流
        if (pkt->stream_index == audio_idx) {

            //发送数据包到解码器
            avcodec_send_packet(cc_ctx, pkt);

            //清理
            av_packet_unref(pkt);

            //这里为什么要使用一个for循环呢?
            // 因为avcodec_send_packet和avcodec_receive_frame并不是一对一的关系的
            //一个avcodec_send_packet可能会出发多个avcodec_receive_frame
            for (;;) {
                // 接受解码的数据
                re = avcodec_receive_frame(cc_ctx, frame);
                if (re != 0) {
                    break;
                } else {

                    //音频重采样
                    int len = swr_convert(actx,&resampleOutBuffer,
                                          frame->nb_samples,
                                          (const uint8_t**)frame->data,
                                          frame->nb_samples);

                    jbyteArray jPcmDataArray = env->NewByteArray(dataSize);
                    // native 创建 c 数组
                    jbyte *jPcmData = env->GetByteArrayElements(jPcmDataArray, NULL);

                    //内存拷贝
                    memcpy(jPcmData, resampleOutBuffer, dataSize);

                    // 同步刷新到 jbyteArray ,并释放 C/C++ 数组
                    env->ReleaseByteArrayElements(jPcmDataArray, jPcmData, 0);


                    LOGE("解码成功%d  dataSize:%d ",len,dataSize);

                    // 写入播放数据
                    env->CallIntMethod(jAudioTrack, jAudioTrackWriteMid, jPcmDataArray, 0, dataSize);

                    // 解除 jPcmDataArray 的持有,让 javaGC 回收
                    env->DeleteLocalRef(jPcmDataArray);

                }
            }

        }
    }

    //关闭环境
    avcodec_free_context(&cc_ctx);
    // 释放资源
    av_frame_free(&frame);
    av_packet_free(&pkt);

    avformat_free_context(fmt_ctx);

    LOGE("音频播放完毕");

    env->ReleaseStringUTFChars(audio_path, path);

    return 0;
}

结束

最后如果你对音视频开发感兴趣可扫码关注,笔者在各个知识点学习完毕之后也会使用ffmepg从零开始编写一个多媒体播放器,包括本地播放及网络流播放等等。欢迎关注,后续我们共同探讨,共同进步。


使用AudioTrack播放FFmpeg解码的PCM音频数据_第2张图片
image

你可能感兴趣的:(使用AudioTrack播放FFmpeg解码的PCM音频数据)