前言
上一篇博客我们聊了一下如何使用FFmpeg的命令来实现各种需求,从这篇博客我们将一起来看一下如何使用使用FFmpeg代码实现各种需求,而这一篇博客我们主要来说一下如何使用FFmpeg抽取音视频数据。
正文
说代码之前,我们先用一张流程图表明具体的操作过程。如下所示。
通过上图我们可以知道,我们需要两个流,一个输出流和一个空白输入流,我们把输入流中的数据拷贝到输出流中即可。但是里面所用到的函数较多,我们需要逐一分析,后面博客我们就不会对这些函数进一步讲解了。
- 注册所有的音视频编解码。(旧版中需要使用,在新版中加入会有警告。)
av_register_all();
注:为什么在新版本中不需要通过av_register_all()
来注册所有编码器呢?这是因为在新的版本中,解码器和编码器的初始化都是通过定义全局变量来初始化的。所以我们不需要使用av_register_all()
来初始化所有的编解码。这里就不过多叙述了
具体的分析博客可以看 新版本ffmpeg源码简单分析:av_register_all()
- 打开输入流文件。
result = avformat_open_input(&fmt_ctx, inputFilePath, NULL, NULL);
在 avformat_open_input 函数中,返回值类型为int,如果返回值小于0,那么就是打开失败。第一个参数是类型为AVFormatContext的格式上下文。第二个参数是媒体的地址。第三个是输入格式参数,可以为NULL。第四个参数是选项参数,是一个类似于Key-Value形式的结构体。
- 寻找到最好的输出流下标,并且根据流的下标取到对应的流信息。
best_steam_index = av_find_best_stream(fmt_ctx, AVMEDIA_TYPE_AUDIO, -1, -1, NULL, 0);
//拿到文件中音频流
inputSteam = fmt_ctx->streams[best_steam_index];
媒体中是有流的概念,一个媒体文件可能有多路流,比如视频流,音频流,弹幕流等等各种流。我们需要从中找出最合适的流。av_find_best_stream这个能帮助我们流文件的下标,然后我们可以从 fmt_ctx→steams 中找到我们所需要的流。
如果抽离音频就用 AVMEDIA_TYPE_AUDIO,如果抽取视频就用 AVMEDIA_TYPE_VIDEO,这样就能取到对应的流下标。
- 初始化输出上下文和输出流,以及配置一个最合适的媒体格式。
ofmt_ctx = avformat_alloc_context();
// 配置媒体格式
output_fmt = av_guess_format(NULL, outFilePath, NULL);
ofmt_ctx->oformat = output_fmt;
// 初始化输出流
outSteam = avformat_new_stream(ofmt_ctx, NULL);
这一步没有什么好说的,主要是对输出上下文和输出流进行初始化操作。并且要把媒体格式初始化,通过ofmt_ctx→oformat = output_fmt配置到输出上下文中。
- 将输入流的参数信息拷贝到输出流中。
AVCodecParameters *in_codecpar = inputSteam->codecpar;
if((result = avcodec_parameters_copy(outSteam->codecpar, in_codecpar)) < 0 ){
av_log(NULL, AV_LOG_ERROR,"拷贝编码参数失败");
return result;
}
我们首先先从输入流中拿到参数信息,然后通过 然后通过avcodec_parameters_copy函数将参数信息拷贝到输出流中。 由于我们不需要做音视频的处理,所以我们只需要参数信息拷贝到输出流中即可。
- 初始化输出上下文中的AVIOContext。
if((result = avio_open(&ofmt_ctx->pb, outFilePath, AVIO_FLAG_WRITE)) < 0) {
av_log(NULL, AV_LOG_ERROR,"不能打开输出文件");
return result;
}
这一步操作主要是初始化输出上下文中的文件IO上下文。
- 往输出上下文中写入媒体头信息。
if (avformat_write_header(ofmt_ctx, NULL) < 0) {
av_log(NULL, AV_LOG_ERROR,"写入文件头失败");
return result;
}
通过avformat_write_header函数我们可以直接往输出上下文中写入媒体头信息。
- 循环读取输入上下文中每一帧数据并把它写到输出上下文中。
while(av_read_frame(fmt_ctx, &pkt) >=0 ){
if(pkt.stream_index == best_steam_index){
//时间基计算,音频pts和dts一致
pkt.pts = av_rescale_q_rnd(pkt.pts, inputSteam->time_base, outSteam->time_base, (AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX));
pkt.dts = pkt.pts;
pkt.duration = av_rescale_q(pkt.duration, inputSteam->time_base, outSteam->time_base);
pkt.pos = -1;
pkt.stream_index = 0;
//将包写到输出媒体文件
av_interleaved_write_frame(ofmt_ctx, &pkt);
//减少引用计数,避免内存泄漏
av_packet_unref(&pkt);
}
}
这是抽取音视频代码中最核心的一部分,也是最后一个步骤,那么就是循环把输入上下文中合适的包数据写到输出上下文中。同时要注意时间基的转化问题。
总结
本次的博客就到这里了,欢迎各位大佬批评指导,谢谢。