使用FFMPEG类库分离出多媒体文件中的H.264码流

在使用FFMPEG的类库进行编程的过程中，可以直接输出解复用之后的的视频数据码流。只需要在每次调用av_read_frame()之后将得到的视频的AVPacket存为本地文件即可。

经试验，在分离MPEG2码流的时候，直接存储AVPacket即可。

在分离H.264码流的时候，直接存储AVPacket后的文件可能是不能播放的。

如果视音频复用格式是TS（MPEG2 Transport Stream），直接存储后的文件是可以播放的。

复用格式是FLV，MP4则不行。

经过长时间资料搜索发现，FLV，MP4这些属于“特殊容器”，需要经过以下处理才能得到可播放的H.264码流：

1.第一次存储AVPacket之前需要在前面加上H.264的SPS和PPS。这些信息存储在AVCodecContext的extradata里面。

并且需要使用FFMPEG中的名为"h264_mp4toannexb"的bitstream filter 进行处理。

然后将处理后的extradata存入文件

具体代码如下：（源码见最后）

FILE *fp=fopen("test.264","ab");
AVCodecContext *pCodecCtx=...  

unsigned char *dummy=NULL;   //输入的指针  
int dummy_len;  
AVBitStreamFilterContext* bsfc =  av_bitstream_filter_init("h264_mp4toannexb");    
av_bitstream_filter_filter(bsfc, pCodecCtx, NULL, &dummy, &dummy_len, NULL, 0, 0);  
fwrite(pCodecCtx->extradata,pCodecCtx-->extradata_size,1,fp);  
av_bitstream_filter_close(bsfc);    
free(dummy);  

2.通过查看FFMPEG源代码我们发现，AVPacket中的数据起始处没有分隔符(0x00000001), 也不是0x65、0x67、0x68、0x41等字节，所以可以AVPacket肯定这不是标准的nalu。其实，AVPacket前4个字表示的是nalu的长度，从第5个字节开始才是nalu的数据。所以直接将AVPacket前4个字节替换为0x00000001即可得到标准的nalu数据。

具体代码如下：

char nal_start[]={0,0,0,1};  
fwrite(nal_start,4,1,fp);  
fwrite(pkt->data+4,pkt->size-4,1,fp);  
fclose(fp);  

经过以上两步处理之后，我们就得到了可以正常播放的H.264码流。

3.ffmpeg中提供了一个流过滤器"h264_mp4toannexb"完成这项工作（从extradata中解析出sps及pps），关键代码如下：

  1 //h264_mp4toannexb_bsf.c
  2 static int h264_mp4toannexb_filter(AVBitStreamFilterContext *bsfc,
  3                                    AVCodecContext *avctx, const char *args,
  4                                    uint8_t  **poutbuf, int *poutbuf_size,
  5                                    const uint8_t *buf, int      buf_size,
  6                                    int keyframe) {
  7     H264BSFContext *ctx = bsfc->priv_data;
  8     uint8_t unit_type;
  9     int32_t nal_size;
 10     uint32_t cumul_size = 0;
 11     const uint8_t *buf_end = buf + buf_size;
 12 
 13 
 14     /* nothing to filter */
 15     if (!avctx->extradata || avctx->extradata_size < 6) {
 16         *poutbuf = (uint8_t*) buf;
 17         *poutbuf_size = buf_size;
 18         return 0;
 19     }
 20     
 21     //
 22     //从extradata中分析出SPS、PPS
 23     //
 24     /* retrieve sps and pps NAL units from extradata */
 25     if (!ctx->extradata_parsed) {
 26         uint16_t unit_size;
 27         uint64_t total_size = 0;
 28         uint8_t *out = NULL, unit_nb, sps_done = 0, sps_seen = 0, pps_seen = 0;
 29         const uint8_t *extradata = avctx->extradata+4;  //跳过前4个字节
 30         static const uint8_t nalu_header[4] = {0, 0, 0, 1};
 31 
 32 
 33         /* retrieve length coded size */
 34         ctx->length_size = (*extradata++ & 0x3) + 1;    //用于指示表示编码数据长度所需字节数
 35         if (ctx->length_size == 3)
 36             return AVERROR(EINVAL);
 37 
 38 
 39         /* retrieve sps and pps unit(s) */
 40         unit_nb = *extradata++ & 0x1f; /* number of sps unit(s) */
 41         if (!unit_nb) {
 42             goto pps;
 43         } else {
 44             sps_seen = 1;
 45         }
 46 
 47 
 48         while (unit_nb--) {
 49             void *tmp;
 50 
 51 
 52             unit_size = AV_RB16(extradata);
 53             total_size += unit_size+4;
 54             if (total_size > INT_MAX - FF_INPUT_BUFFER_PADDING_SIZE ||
 55                 extradata+2+unit_size > avctx->extradata+avctx->extradata_size) {
 56                 av_free(out);
 57                 return AVERROR(EINVAL);
 58             }
 59             tmp = av_realloc(out, total_size + FF_INPUT_BUFFER_PADDING_SIZE);
 60             if (!tmp) {
 61                 av_free(out);
 62                 return AVERROR(ENOMEM);
 63             }
 64             out = tmp;
 65             memcpy(out+total_size-unit_size-4, nalu_header, 4);
 66             memcpy(out+total_size-unit_size,   extradata+2, unit_size);
 67             extradata += 2+unit_size;
 68 pps:
 69             if (!unit_nb && !sps_done++) {
 70                 unit_nb = *extradata++; /* number of pps unit(s) */
 71                 if (unit_nb)
 72                     pps_seen = 1;
 73             }
 74         }
 75 
 76 
 77         if(out)
 78             memset(out + total_size, 0, FF_INPUT_BUFFER_PADDING_SIZE);
 79 
 80 
 81         if (!sps_seen)
 82             av_log(avctx, AV_LOG_WARNING, "Warning: SPS NALU missing or invalid. The resulting stream may not play.\n");
 83         if (!pps_seen)
 84             av_log(avctx, AV_LOG_WARNING, "Warning: PPS NALU missing or invalid. The resulting stream may not play.\n");
 85 
 86 
 87         av_free(avctx->extradata);
 88         avctx->extradata      = out;
 89         avctx->extradata_size = total_size;
 90         ctx->first_idr        = 1;
 91         ctx->extradata_parsed = 1;
 92     }
 93 
 94 
 95     *poutbuf_size = 0;
 96     *poutbuf = NULL;
 97     do {
 98         if (buf + ctx->length_size > buf_end)
 99             goto fail;  //buf为NULL时，以下代码将不再执行
100 
101 
102         //
103         //用于保存数据长度的字节数，是在分析原extradata计算出来的
104         //
105         if (ctx->length_size == 1) {
106             nal_size = buf[0];
107         } else if (ctx->length_size == 2) {
108             nal_size = AV_RB16(buf);
109         } else
110             nal_size = AV_RB32(buf);
111 
112 
113         buf += ctx->length_size;
114         unit_type = *buf & 0x1f;
115 
116 
117         if (buf + nal_size > buf_end || nal_size < 0)
118             goto fail;
119 
120 
121         /* prepend only to the first type 5 NAL unit of an IDR picture */
122         if (ctx->first_idr && unit_type == 5) {
123             //
124             //copy IDR 帧时，需要将sps及pps一同拷贝
125             //
126             if (alloc_and_copy(poutbuf, poutbuf_size,
127                                avctx->extradata, avctx->extradata_size,
128                                buf, nal_size) < 0)
129                 goto fail;
130             ctx->first_idr = 0;
131         } else {
132             //
133             //非IDR帧，没有sps及pps
134             if (alloc_and_copy(poutbuf, poutbuf_size,
135                                NULL, 0,
136                                buf, nal_size) < 0)
137                 goto fail;
138             if (!ctx->first_idr && unit_type == 1)
139                 ctx->first_idr = 1;
140         }
141 
142 
143         buf += nal_size;
144         cumul_size += nal_size + ctx->length_size;
145     } while (cumul_size < buf_size);
146 
147 
148     return 1;
149 
150 
151 fail:
152     av_freep(poutbuf);
153     *poutbuf_size = 0;
154     return AVERROR(EINVAL);
155 }

一般情况下，extradata中包含一个sps、一个pps 的nalu, 从上面的代码中容易看出extradata的数据格式。分析后的sps及pps依然储存在extradata域中，并添加了起始符。从代码中还可以看出，上面的函数会将sps、pps及packet中的数据，都copy到poutbuf指示的内存中，如果不需要copy到指定内存，直接给buf参数传入空值即可。