FFmpeg入门详解之44：FFmpeg音视频解码原理与实战
FFmpeg解码音视频流程简介
音视频编码流程简介（使用 ffmpeg）
-
第一步：注册组件（编码器、解码器…）
-
第二步：初始化封装格式上下文
-
第三步：打开输入文件
-
第四步：创建输出码流（设置为视频流或音频流）
-
第五步：查找视频/音频编码器
-
第六步：打开视频/音频编码器
-
第七步：写入文件头信息（有些文件头信息）->一般情况下都会有
-
第八步：循环编码视频像素数据->视频压缩数据
-
第九步：将编码后的视频/音频压缩数据写入文件中
-
第十步：输入像素/采样数据读取完毕后回调函数
视频解码
在视频解码前，先了解以下几个基本的概念：
编解码器（CODEC）：能够进行视频和音频压缩（CO）与解压缩（DEC），是视频编解码的核心部分。
容器/多媒体文件（Container/File）：没有了解视频的编解码之前，总是错误的认为平常下载的电影的文件的后缀（avi，mkv，rmvb等）就是视频的编码方式。
事实上，刚才提到的几种文件的后缀并不是视频的编码方式，只是其封装的方式。一个视频文件通常有视频数据、音频数据以及字幕等，封装的格式决定这些数据在文件中是如何的存放的，封装在一起音频、视频等数据组成的多媒体文件，也可以叫做容器（其中包含了视音频数据）。
所以，只看多媒体文件的后缀名是难以知道视音频的编码方式的。
流数据 Stream，例如视频流（Video Stream），音频流（Audio Stream）。流中的数据元素被称为帧Frame。
关键函数说明
avcodec_find_decoder：根据指定的AVCodecID查找注册的解码器。
av_parser_init：初始化AVCodecParserContext。
avcodec_alloc_context3：为AVCodecContext分配内存。
avcodec_open2：打开解码器。
av_parser_parse2：解析获得一个Packet。
avcodec_send_packet：将AVPacket压缩数据给解码器。
avcodec_receive_frame：获取到解码后的AVFrame数据。
av_get_bytes_per_sample: 获取每个sample中的字节数。
解码流程说明
AVCodecParser：用于解析输入的数据流并把它分成一帧一帧的压缩编码数据。
比较形象的说法就是把长长的一段连续的数据“切割”成一段段的数据。
解码过程的具体说明
1. 注册
只需要调用一次，故一般放在main函数中。也可以注册某个特定的容器格式，但通常来说不需要这么做。
2. 打开文件
avformat_open_input该函数读取文件的头信息，并将其信息保存到AVFormatContext结构体中。
3. 获取必要的CODEC参数
够获取到足够多的关于文件、流和CODEC的信息，并将这些信息填充到AVFormatContext结构体中。
但任何一种多媒体格式（容器）提供的信息都是有限的，而且不同的多媒体制作软件对头信息的设置也不尽相同，在制作多媒体文件的时候难免会引入一些错误。也就是说，仅仅通过avformat_open_input并不能保证能够获取所需要的信息，所以一般要使用
avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options)
avformat_find_stream_info主要用来获取必要的CODEC参数，设置到ic->streams[i]->codec。
4. 打开解码器
经过上面的步骤，已经将文件格式信息读取到了AVFormatContext中，要打开流数据相应的CODEC需要经过下面几个步骤
找到视频流 video stream
一个多媒体文件包含有多个原始流，例如 movie.mkv这个多媒体文件可能包含下面的流数据
-
原始流 1 h.264 video
-
原始流 2 aac audio for Chinese
-
原始流 3 aac audio for English
-
原始流 4 Chinese Subtitle
-
原始流 5 English Subtitle
5. 读取数据帧并解码
已经有了相应的解码器，下面的工作就是将数据从流中读出，并解码为没有压缩的原始数据
AVPacket packet;
while (av_read_frame(pFormatCtx, &packet) >= 0)
{
if (packet.stream_index == videoStream)
{
int frameFinished = 0;
avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);
if (frameFinished)
{
doSomething();
}
}
}
上述代码调用av_read_frame将数据从流中读取数据到packet中，并调用avcodec_decode_video2对读取的数据进行解码。
6. 关闭
需要关闭avformat_open_input打开的输入流，avcodec_open2打开的CODEC
avcodec_close(pCodecCtxOrg);
avformat_close_input(&pFormatCtx);
源代码分析
#include#include #include #include #ifdef __cplusplus extern "C" { #endif #include #include #ifdef __cplusplus }; #endif int openCodecContext(const AVFormatContext *pFormatCtx, int *pStreamIndex, enum AVMediaType type, AVCodecContext **ppCodecCtx) { int streamIdx = -1; // 获取流下标 for (int i = 0; i < pFormatCtx->nb_streams; i++) { if (pFormatCtx->streams[i]->codec->codec_type == type) { streamIdx = i; break; } } if (streamIdx == -1) { printf("find video stream failed!\n"); exit(-2); } // 寻找解码器 AVCodecContext *pCodecCtx = pFormatCtx->streams[streamIdx]->codec; AVCodec *pCodec = avcodec_find_decoder(pCodecCtx->codec_id); if (NULL == pCodec) { printf("avcode find decoder failed!\n"); exit(-2); } //打开解码器 if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) { printf("avcode open failed!\n"); exit(-2); } *ppCodecCtx = pCodecCtx; *pStreamIndex = streamIdx; return 0; } //static const char *media_file = "ande_302.mp4"; int main(int argc, char* argv[]) { QCoreApplication a(argc, argv); AVFormatContext *pInFormatCtx = nullptr; AVCodecContext *pVideoCodecCtx = nullptr; AVCodecContext *pAudioCodecCtx = nullptr; AVPacket *pPacket = nullptr; AVFrame *pFrame = nullptr; int ret; /* 支持本地文件和网络url */ const char streamUrl[] = "ande_flv.flv"; printf("-------hello,ffmpeg!--------\n"); /* 1. 注册 */ av_register_all(); pInFormatCtx = avformat_alloc_context(); /* 2. 打开流 */ if(avformat_open_input(&pInFormatCtx, streamUrl, NULL, NULL) != 0) { printf("Couldn't open input stream.\n"); return -1; } /* 3. 获取流的信息 */ if(avformat_find_stream_info(pInFormatCtx, NULL) < 0) { printf("Couldn't find stream information.\n"); return -1; } int videoStreamIdx = -1; int audioStreamIdx = -1; /* 4. 寻找并打开解码器 */ openCodecContext(pInFormatCtx, &videoStreamIdx, AVMEDIA_TYPE_VIDEO, &pVideoCodecCtx); openCodecContext(pInFormatCtx, &audioStreamIdx, AVMEDIA_TYPE_AUDIO, &pAudioCodecCtx); pPacket = av_packet_alloc(); pFrame = av_frame_alloc(); int cnt = 10; while (cnt--) { /* 5. 读流数据, 未解码的数据存放于pPacket */ ret = av_read_frame(pInFormatCtx, pPacket); if (ret < 0) { printf("av_read_frame error\n"); break; } /* 6. 解码, 解码后的数据存放于pFrame */ /* 视频解码 */ if (pPacket->stream_index == videoStreamIdx) { avcodec_decode_video2(pVideoCodecCtx, pFrame, &ret, pPacket); if (ret == 0) { printf("video decodec error!\n"); continue; } printf("* * * * * * video * * * * * * * * *\n"); printf("___height: [%d]\n", pFrame->height); printf("____width: [%d]\n", pFrame->width); printf("pict_type: [%d]\n", pFrame->pict_type); printf("___format: [%d]\n", pFrame->format); ///AVSampleFormat printf("* * * * * * * * * * * * * * * * * * *\n\n"); } /* 音频解码 */ if (pPacket->stream_index == audioStreamIdx) { avcodec_decode_audio4(pAudioCodecCtx, pFrame, &ret, pPacket); if (ret < 0) { printf("audio decodec error!\n"); continue; } printf("* * * * * * audio * * * * * * * * * *\n"); printf("____nb_samples: [%d]\n", pFrame->nb_samples); printf("__samples_rate: [%d]\n", pFrame->sample_rate); printf("channel_layout: [%lu]\n", pFrame->channel_layout); printf("________format: [%d]\n", pFrame->format); printf("* * * * * * * * * * * * * * * * * * *\n\n"); } av_packet_unref(pPacket); } av_frame_free(&pFrame); av_packet_free(&pPacket); avcodec_close(pVideoCodecCtx); avcodec_close(pAudioCodecCtx); avformat_close_input(&pInFormatCtx); return a.exec(); }