31.FFmpeg+OpenGLES+OpenSLES播放器实现（五.FFmpeg解封装）

项目源码
FFmpeg开发文档
Android Studio的开发环境已经准备好，接下来开始正式的写ndk代码，首先创建一个FFmpeg工具类，添加native方法

import android.view.Surface;
public class FFmpegPlayer {
    static {
        System.loadLibrary("ffmpeg");
    }
    /**
     * 播放视频
     */
    public native void playVideo(String url,Surface surface);

}

传入的Surface对象是用于显示播放界面的，这里先传入，后边再说

然后生成对应的头文件，之前在eclipse上开发的时候都是通过javah命令生成头文件后将对应的方法名拷贝到我们的c文件中，这部分的生成方法可以查看之前的博客。现在我们使用的Android Studio3.x可以一键生成对应的native方法，将光标选中方法名然后alt+enter选择create function xxx即可

extern "C"
JNIEXPORT void JNICALL
Java_com_rzm_ffmpegplayer_FFmpegPlayer_playVideo(JNIEnv *env, jobject instance, jstring url_,
                                                 jobject surface) {
    const char *url = env->GetStringUTFChars(url_, 0);

    env->ReleaseStringUTFChars(url_, url);
}

今天来进行的是FFmpeg的第一部分，解封装

解封装

一个mp4文件可能是视频流音频流字幕流等等多个流的一个结合体，而我们要实现视频和音频的播放，就需要将这个结合体拆分开来，单独的进行视频播放，音频播放，实现同步，这是实现播放的一个必要的条件。所以播放的第一步就要进行源文件的解封装，解封装涉及到的一些接口如下

av_register_all()

初始化libavformat 并注册所有的muxers和demuxers以及各种协议，当然，如果你只需要初始化特定的支持组件，那么单独调用特定的方法即可，一般直接这样做一劳永逸

avformat_open_input

打开输入流（可以是本地流也可以是网络流，如果是网络的，那么需要avformat_network_init（）方法支持）并读取视频头信息，视频头通常包含一些视频基本信息，比如说视频格式，streams的数量等等。注意此时编解码器未打开，最后必须使用avformat_close_input(&avFormatContext)进行关闭，避免造成泄漏

avformat_network_init()

初始化全局的网络组件，支持rtfp协议的时候需要打开这个开关，ffmpeg推荐打开这个全局的网络开关，因为可以减少单独对每个单独回话做设置的开销

avformat_find_stream_info()

打开流文件之后执行这个方法，读取媒体文件获取到流信息，这个方法对于没有视频头的视频尤其有效（MPEG-2），，此方法执行之后会将读取到的流信息填充到AVFormatContext中的各个流的轨道上，这样一来，AVFormatContext->streams[i]中就有信息了.这个方法可以打开部分解码器并保存在第二个参数AVDictionary中，但是他无法保证打开全部的解码器，如果存在null那么也是正常现象，这里第二个参数我们直接置为NULL

av_find_best_stream

媒体信息已经获取到了，接下来需要将视频流和音频流区分开来，可以通过av_find_best_stream来获取流轨道的index，在老版本的ffmpeg上我们是通过遍历所有的流通过对比codec_type来判断的，代码如下

    for(int i = 0; i < avFormatContext->nb_streams; i++){
        AVStream *avStream = avFormatContext->streams[i];
        if (avStream->codecpar->codec_type == AVMEDIA_TYPE_VIDEO){
            //找到视频index
            videoIndex = i;
        } else if (avStream->codecpar->codec_type == AVMEDIA_TYPE_AUDIO){
            //找到音频index
            audioIndex = i;            
        }
    }

通过这个方法获取的方式为下，验证一下，你会发现二者结果相同

videoIndex = av_find_best_stream(avFormatContext,AVMEDIA_TYPE_VIDEO,-1,-1,NULL,0);
audioIndex = av_find_best_stream(avFormatContext,AVMEDIA_TYPE_AUDIO,-1,-1,NULL,0);

av_read_frame

返回流的下一帧，这个函数返回文件中存储的内容。每调用一次，它就将返回一帧数据，这是从文件存储的内容中切割出来的

av_packet_unref

这个方法会擦除packet空间，不再指向这个packet的缓存空间，另外也会将packet重置为默认状态。一帧数据也就是一个ACPacket使用完之后需要回收，否则会造成内存急剧增长，下边分别是调用这个方法和不调用这个方法的内存变化状态

调用.png

不调用.png

完整的代码如下

/**
 * 播放视频，支持本地和网络两种
 */
extern "C"
JNIEXPORT void JNICALL
Java_com_rzm_ffmpegplayer_FFmpegPlayer_playVideo(JNIEnv *env, jobject instance, jstring url_,
                                                 jobject surface) {
    const char *url = env->GetStringUTFChars(url_, 0);

    //初始化解封装
    av_register_all();
    //初始化全局网络组件，可选推荐使用，在使用网络协议的场景中这是必选的(rtfp http)
    avformat_network_init();

    AVFormatContext *avFormatContext = NULL;
    //指定输入的格式，如果为NULL,将自动检测输入格式，所以可置为NULL
    //AVInputFormat *fmt = NULL;
    //打开输入文件，可以是本地视频或者网络视频
    int result = avformat_open_input(&avFormatContext,url,NULL,NULL);

    //打开输入内容失败
    if(result != 0){
        LOGE("avformat_open_input failed!:%s",av_err2str(result));
        return;
    }

    //打开输入成功
    LOGI("avformat_open_input success!:%s",av_err2str(result));

    //读取媒体文件的分组以获得流信息。这个对于没有标题的文件格式（如MPEG）很有用。这个函数还计算实际的帧率在
    //MPEG-2重复的情况下帧模式。
    result = avformat_find_stream_info(avFormatContext,NULL);
    if (result < 0){
        LOGE("avformat_find_stream_info failed: %s",av_err2str(result));
    }

    //获取到了输入文件信息，打印一下视频时长和nb_streams
    LOGI("duration = %lld nb_streams=%d",avFormatContext->duration,avFormatContext->nb_streams);

    //分离音视频，获取音视频在源文件中的streams index
    int videoIndex = 0;
    int audioIndex = 1;
    int fps = 0;
    for(int i = 0; i < avFormatContext->nb_streams; i++){
        AVStream *avStream = avFormatContext->streams[i];
        if (avStream->codecpar->codec_type == AVMEDIA_TYPE_VIDEO){
            //找到视频index
            videoIndex = i;
            LOGI("video index = %d",videoIndex);
            //FPS是图像领域中的定义，是指画面每秒传输帧数
            fps = r2d(avStream->avg_frame_rate);

            LOGI("video info ---- fps = %d fps den= %d fps num= %d width=%d height=%d code id=%d format=%d",
                 fps,
                 avStream->avg_frame_rate.den,
                 avStream->avg_frame_rate.num,
                 avStream->codecpar->width,
                 avStream->codecpar->height,
                 avStream->codecpar->codec_id,
                 avStream->codecpar->format
            );

        } else if (avStream->codecpar->codec_type == AVMEDIA_TYPE_AUDIO){
            //找到音频index
            audioIndex = i;
            LOGI("audio index = %d sampe_rate=%d channels=%d sample_format=%d",
                 audioIndex,
                 avStream->codecpar->sample_rate,
                 avStream->codecpar->channels,
                 avStream->codecpar->format
            );
        }
    }

    //上边通过遍历streams音视频的index,还可以通过提供的接口获取
    videoIndex = av_find_best_stream(avFormatContext,AVMEDIA_TYPE_VIDEO,-1,-1,NULL,0);
    audioIndex = av_find_best_stream(avFormatContext,AVMEDIA_TYPE_AUDIO,-1,-1,NULL,0);
    LOGI("av_find_best_stream videoIndex=%d audioIndex=%d",videoIndex,audioIndex);

    //读取帧数据

    //Allocate an AVPacket and set its fields to default values
    //存储压缩数据,对于视频，它通常应该包含一个压缩帧。对于音频它可能包含几个压缩帧
    AVPacket *avPacket = av_packet_alloc();
    for (;;) {

        //Return the next frame of a stream.
        int read_result = av_read_frame(avFormatContext,avPacket);
        if(read_result != 0){
            //读取到结尾处,从20秒位置继续开始播放
            LOGI("读取到结尾处 %s",av_err2str(read_result));
            //跳转到指定的position播放，最后一个参数表示
            //int pos = 200000 * r2d(avFormatContext->streams[videoIndex]->time_base);
            //av_seek_frame(avFormatContext,videoIndex,pos,AVSEEK_FLAG_BACKWARD|AVSEEK_FLAG_FRAME );
            //LOGI("avFormatContext->streams[videoIndex]->time_base= %d",avFormatContext->streams[videoIndex]->time_base);
            //continue;
            break;
        }
        LOGW("stream = %d size =%d pts=%lld flag=%d pos = %d",
             avPacket->stream_index,avPacket->size,avPacket->pts,avPacket->flags,avPacket->pos
        );

        //packet使用完成之后执行，否则内存会急剧增长
        //不再引用这个packet指向的空间，并且将packet置为default状态
        av_packet_unref(avPacket);
    }

    //关闭上下文
    avformat_close_input(&avFormatContext);
    env->ReleaseStringUTFChars(url_, url);
}