32.FFmpeg+OpenGLES+OpenSLES播放器实现(六.FFmpeg音视频解码)

项目源码
FFmpeg开发文档
解码分为软解码和硬解码,那么什么是软解码和硬解码,二者有什么区别?简单来说,在于是否使用CPU进行解码,最初视频解码都是通过CPU进行的,那时候视频分辨率较低,CPU完全可以胜任解码的工作,但是随着高清视频的出现,使用CPU进行解码的压力越来越大

软解码

使用CPU进行解码,所以就很容易造成CPU负载过大。纯粹依靠CPU来解码,是在显卡本身不支持或者部分不支持硬件解码的前提下,将解压高清编码的任务交给CPU,这是基于硬件配置本身达不到硬解压要求的前提下的无奈之举。我们在解码过程中,应该在硬件支持的前提下优先使用硬解码。
对于一个超级电视而言,观看高清电影无疑是用户最大的诉求,而硬解码的优势就在于可以流畅的支持1080p甚至4K清晰度的电影播放,而不需要占用CPU,CPU就可以如释重负,轻松上阵,承担更多的其他任务。如果通过软解码的方式播放高清电影,CPU的负担较重,往往会出现卡顿、不流畅的现象。

硬解码

硬件解码就是通过显卡的视频加速功能对高清视频进行解码,使用非CPU进行,如GPU/VPU(GPU:图形处理器:Graphics Processing Unit,指计算机的显卡,VPU:Visual Processing Unit,视觉处理单元,由ATI提出的、用于区别于传统GPU的概念,实际二者均为显示处理核心,本质上并无任何区别)、专用的DSP、FPGA、ASIC芯片等,所以几乎不会占用CPU,部分产品在GPU硬件平台移植了优秀的软编码算法(如X264),解码质量基本等同于软编码。硬解码可以将CPU从繁重的视频解码中解放出来,使播放设备具备流畅播放高清视频的能力。显卡的GPU/VPU要比CPU更适合这类大数据量的、低难度的重复工作。

那么ffmpeg是如何进行软解码和硬解码的,分别来看

解码步骤

使用ffmpeg解码分为如下几步:
1.找到解码器
avcodec_find_decoder(软) avcodec_find_decoder_by_name(硬)
2.获取解码器上下文
avcodec_alloc_context3
3.填充解码器参数到上下文中
avcodec_parameters_to_context
4.打开解码器
avcodec_open2
5.将解封装得到的AVPacket发送到解码器中进行解码
avcodec_send_packet
6.从解码器中接收已经解码完成的数据存入AVFrame
avcodec_receive_frame
7.释放frame空间
av_frame_unref

具体到代码中看一看音视频的软解码和硬解码

视频软解码环境
    /***************************************video解码器*********************************************/
    //找到视频解码器(软解码)
    AVCodec *videoAVCodec = avcodec_find_decoder(avFormatContext->streams[videoIndex]->codecpar->codec_id);
    avcodec_open2 video failed!
    if (videoAVCodec == NULL){
        LOGE("avcodec_find_decoder failed !");
        return;
    }
    //初始化视频解码器上下文对象
    AVCodecContext *videoCodecContext = avcodec_alloc_context3(videoAVCodec);
    //根据所提供的编解码器的值填充编解码器上下文参数
    avcodec_parameters_to_context(videoCodecContext,avFormatContext->streams[videoIndex]->codecpar);
    //设置视频解码器解码的线程数,解码时将会以你设定的线程进行解码
    videoCodecContext->thread_count = 8;
    //打开解码器
    result = avcodec_open2(videoCodecContext,NULL,NULL);
    if (result != 0){
        LOGE("avcodec_open2 video failed! %s",av_err2str(result));
        return;
    }
    /***********************************************************************************************/
视频硬解码环境
    //硬解码,硬解码需要Jni_OnLoad中做设置否则ffmpeg_player_error: avcodec_open2 video failed!
    AVCodec *videoAVCodec = avcodec_find_decoder_by_name("h264_mediacodec");
    if (videoAVCodec == NULL){
        LOGE("avcodec_find_decoder failed !");
        return;
    }
    //初始化视频解码器上下文对象
    AVCodecContext *videoCodecContext = avcodec_alloc_context3(videoAVCodec);
    //根据所提供的编解码器的值填充编解码器上下文参数
    avcodec_parameters_to_context(videoCodecContext,avFormatContext->streams[videoIndex]->codecpar);
    //设置视频解码器解码的线程数,解码时将会以你设定的线程进行解码
    videoCodecContext->thread_count = 8;
    //打开解码器
    result = avcodec_open2(videoCodecContext,NULL,NULL);
    if (result != 0){
        LOGE("avcodec_open2 video failed! %s",av_err2str(result));
        return;
    }

可以看到软硬解码的区别也只是在于获取解码器的那一步操作

音频软解码环境
    /***************************************audio解码器*********************************************/

    //找到音频解码器(软解码)
    AVCodec *audioAVCodec = avcodec_find_decoder(avFormatContext->streams[audioIndex]->codecpar->codec_id);
    //初始化音频解码器上下文对象
    AVCodecContext *audioCodecContext = avcodec_alloc_context3(audioAVCodec);
    //根据所提供的编解码器的值填充编解码器上下文参数
    avcodec_parameters_to_context(audioCodecContext,avFormatContext->streams[audioIndex]->codecpar);
    //设置音频解码器解码的线程数,解码时将会以你设定的线程进行解码
    audioCodecContext->thread_count = 1;
    //打开音频解码器
    result = avcodec_open2(audioCodecContext,NULL,NULL);
    if (result != 0){
        LOGE("avcodec_open2 audio failed!");
        return;
    }
    /***********************************************************************************************/
音频硬解码环境
/***************************************audio解码器*********************************************/

    //找到音频解码器(软解码)
    //硬解码
    AVCodec *audioAVCodec = avcodec_find_decoder_by_name("h264_mediacodec");
    //初始化音频解码器上下文对象
    AVCodecContext *audioCodecContext = avcodec_alloc_context3(audioAVCodec);
    //根据所提供的编解码器的值填充编解码器上下文参数
    avcodec_parameters_to_context(audioCodecContext,avFormatContext->streams[audioIndex]->codecpar);
    //设置音频解码器解码的线程数,解码时将会以你设定的线程进行解码
    audioCodecContext->thread_count = 1;
    //打开音频解码器
    result = avcodec_open2(audioCodecContext,NULL,NULL);
    if (result != 0){
        LOGE("avcodec_open2 audio failed!");
        return;
    }
    /***********************************************************************************************/

同样也是区别在于解码器的获取

获取到解码器之后解码的过程代码如下:

    for (;;) {

        //********************测试每秒解码帧数代码*******************
        if(GetNowMs() - start >=3000){
            LOGI("now decode fps is %d",frameCount/3);
            start = GetNowMs();
            frameCount = 0;
        }
        //********************测试每秒解码帧数代码*******************

        //Return the next frame of a stream.
        int read_result = av_read_frame(avFormatContext,avPacket);
        if(read_result != 0){
            //读取到结尾处,从20秒位置继续开始播放
            LOGI("读取到结尾处 %s",av_err2str(read_result));
            //跳转到指定的position播放,最后一个参数表示
            //int pos = 200000 * r2d(avFormatContext->streams[videoIndex]->time_base);
            //av_seek_frame(avFormatContext,videoIndex,pos,AVSEEK_FLAG_BACKWARD|AVSEEK_FLAG_FRAME );
            //LOGI("avFormatContext->streams[videoIndex]->time_base= %d",avFormatContext->streams[videoIndex]->time_base);
            //continue;
            break;
        }
        LOGW("stream = %d size =%d pts=%lld flag=%d pos = %d",
             avPacket->stream_index,avPacket->size,avPacket->pts,avPacket->flags,avPacket->pos
        );

        //解码测试
        if(avPacket->stream_index != videoIndex){
            continue;
        }

        AVCodecContext *codecContext = videoCodecContext;
        if (avPacket->stream_index == audioIndex){
            codecContext = audioCodecContext;
        }

        //将packet发送到解码器中进行解码
        read_result = avcodec_send_packet(videoCodecContext,avPacket);
        if (read_result != 0){
            LOGE("avcodec_send_packet failed!");
            continue;
        }

        for(;;){
            //从解码器中返回的已经解码的数据
            read_result = avcodec_receive_frame(codecContext,avFrame);
            if(read_result != 0){
                LOGE("avcodec_receive_frame failed!");
                break;
            }

            //********************测试每秒解码帧数代码*******************
            //说明解码的是视频,
            if(codecContext == videoCodecContext) {
                frameCount++;
            }
            //********************测试每秒解码帧数代码*******************

            LOGW("avcodec_receive_frame %lld",avFrame->pts);
        }

        //packet使用完成之后执行,否则内存会急剧增长
        //不再引用这个packet指向的空间,并且将packet置为default状态
        av_packet_unref(avPacket);
    }
软硬解码已经多线程解码效率测试结果

neon 单线程下解码视频结果:
每秒帧数27~68
CPU占用16%左右
内存占用67M左右

neon 八线程下解码视频结果
每秒解码帧数100~170帧
CPU占用70%左右
内存占用90M左右

neon h264_mediacodec硬解码 设置单线程
每秒解码帧数46~58,硬解码是一个固定值,这是由于计算误差产生的
CPU占用3%左右
内存占用23M左右

neon h264_mediacodec硬解码 设置8线程
每秒解码帧数46~85,线程数对帧率无影响,因为硬解码帧率是固定的
CPU和内存的占用可忽略不计

总结一下

1.软解码相较于硬解码,对内存和CPU的开销都明显很大
2.硬解码的解码帧率是固定的,但是几乎不占用CPU

你可能感兴趣的:(32.FFmpeg+OpenGLES+OpenSLES播放器实现(六.FFmpeg音视频解码))