一、FFMPEG 中MPEG2 TS 流解码的流程分析
说道具体的音频或者视频格式,一上来就是理论,那是国内混资历的所谓教授的做为,
对于我们,不合适,还是用自己的方式理解这些晦涩不已的理论吧。
其实MPEG2 是一族协议,至少已经成为ISO 标准的就有以下几部分:
ISO/IEC-13818-1:系统部分;
ISO/IEC-13818-2:视频编码格式;
ISO/IEC-13818-3:音频编码格式;
ISO/IEC-13818-4:一致性测试;
ISO/IEC-13818-5:软件部分;
ISO/IEC-13818-6:数字存储媒体命令与控制;
ISO/IEC-13818-7:高级音频编码;
ISO/IEC-13818-8:系统解码实时接口;
我不是很想说实际的音视频编码格式,毕竟协议已经很清楚了,我主要想说说这些部分
怎么组合起来在实际应用中工作的。
第一部分(系统部分)很重要,是构成以MPEG2 为基础的应用的基础. 很绕口,是吧,
我简单解释一下:比如DVD 实际上是以系统部分定义 的PS 流为基础,加上版权管理等其
他技术构成的。而我们的故事主角,则是另外 种流格式,TS 流,它在现阶段最大的应用
是在数字电视节目 的传输 存储上,因此,你可以理解TS 实际上是 种传输协议, 实
际传输的负载关系不大,只是在TS 中传输了音频,视频或者其他数据。先说一下为什么会
有这两种格式的出现,PS 适用于没有损耗的环境下面存储,而TS 则适用于可能出现损耗或
者错误的各种物理网络环境,比如你在公交上看 的电视,很有可能就是基于TS 的DVB-T
的应用:)
我们再来看MPEG2 协议中的一些概念,为理解代码做好功课:
l ES(Elementary Stream):
wiki 上说An elementary stream (ES) is defined by MPEG communication protocol is
usually the output of an audio or video encoder”
恩,很简单吧,就是编码器编出的 组数据,可能是音频的,视频的,或者其他数据。
说到着,其实可以对编码器的流程思考一下,无非是执行:采样,量化,编码这3个步骤中
的编码而已(有些设备可能会包含前面的采样和量化) 。关于视频编码的基本理论,还是请
参考其它的资料。
l PES(Packetized Elementary Stream):
wiki 上说allows an Elementary stream to be divided into packets”
其实可以理解成,把 个源源不断的数据(音频,视频或者其他)流,打断成 段 段,
以便处理.
l TS(Transport Stream):
l PS(Program Stream):
这两个上面已经有所提及,后面会详细分析TS,我对PS 格式兴趣不大.
步入正题
才进入正题,恩,看来闲话太多了:(,直接看Code.
前面说过,TS 是 种传输协议,因此,对应 FFmpeg,可以认为他是 种封装格式。
因此,对应的代码应该先去libavformat 里面找,很容易找 ,就是mpegts.c:)。还是逐步看
过来:
[libavformat/utils.c]
int av_open_input_file(AVFormatContext **ic_ptr, const char *filename, AVInputFormat *fmt, int buf_size, AVFormatParameters *ap) { int err, probe_size; AVProbeData probe_data, *pd = &probe_data; ByteIOContext *pb = NULL; pd->filename = ""; if (filename) pd->filename = filename; pd->buf = NULL; pd->buf_size = 0; ################################################################################ 【1】这段代码其实是为了针对不需要Open文件的容器Format 的探测,其实就是使用 AVFMT_NOFILE标记的容器格式单独处理,现在只有使用了该标记的Demuxer很少, 只有image2_demuxer,rtsp_demuxer,因此我们分析TS时候可以不考虑这部分 ################################################################################ if (!fmt) { /* guess format if no file can be opened */ fmt = av_probe_input_format(pd, 0); } /* Do not open file if the format does not need it. XXX: specific hack needed to handle RTSP/TCP */ if (!fmt || !(fmt->flags & AVFMT_NOFILE)) { /* if no file needed do not try to open one */ ######################################################################### 【2】这个函数似乎很好理解,无非是带缓冲的IO的封装,不过我们既然此了, 不妨跟踪下去,看看别人对带缓冲的IO 操作封装的实现:) ######################################################################### if ((err=url_fopen(&pb, filename, URL_RDONLY)) < 0) { goto fail; } if (buf_size > 0) { url_setbufsize(pb, buf_size); } for(probe_size= PROBE_BUF_MIN; probe_size<=PROBE_BUF_MAX && !fmt; probe_size<<=1){ int score= probe_size < PROBE_BUF_MAX ? AVPROBE_SCORE_MAX/4 : 0; /* read probe data */ pd->buf= av_realloc(pd->buf, probe_size + AVPROBE_PADDING_SIZE); ####################################################################### 【3】真正将文件读入 pd 的buffer的地方,实际上最终调用FILE protocol 的file_read(),将内容读入 pd 的buf,具体代码如果有兴趣可以自己跟踪 ####################################################################### pd->buf_size = get_buffer(pb, pd->buf, probe_size); memset(pd->buf+pd->buf_size, 0, AVPROBE_PADDING_SIZE); if (url_fseek(pb, 0, SEEK_SET) < 0) { url_fclose(pb); if (url_fopen(&pb, filename, URL_RDONLY) < 0) { pb = NULL; err = AVERROR(EIO); goto fail; } } ##################################################################### 【4】此时的pd已经有了需要分析的原始文件,只需要查找相应容器format 的Tag 比较,以判断读入的究竟为什么容器格式,这里 ##################################################################### /* guess file format */ fmt = av_probe_input_format2(pd, 1, &score); } av_freep(&pd->buf); } /* if still no format found, error */ if (!fmt) { err = AVERROR_NOFMT; goto fail; } /* check filename in case an image number is expected */ if (fmt->flags & AVFMT_NEEDNUMBER) { if (!av_filename_number_test(filename)) { err = AVERROR_NUMEXPECTED; goto fail; } } err = av_open_input_stream(ic_ptr, pb, filename, fmt, ap); if (err) goto fail; return 0; fail: av_freep(&pd->buf); if (pb) url_fclose(pb); *ic_ptr = NULL; return err; }
【2】带缓冲IO的封装的实现 [liavformat/aviobuf.c]
int url_fopen(ByteIOContext **s, const char *filename, int flags) { URLContext *h; int err; err = url_open(&h, filename, flags); if (err < 0) return err; err = url_fdopen(s, h); if (err < 0) { url_close(h); return err; } return 0; }
可以看 ,下面的这个函数,先查找是否是FFmpeg支持的protocol的格式,如果文件
名不符合,则默认是FILE protocol 格式,很显然,这里protocol判断是以URL的方式判读
的,因此基本上所有的IO接口函数都是url_xxx的形式。
在这也可以看 ,FFmpeg 支持的protocol 有:
/* protocols */
REGISTER_PROTOCOL (FILE, file);
REGISTER_PROTOCOL (HTTP, http);
REGISTER_PROTOCOL (PIPE, pipe);
REGISTER_PROTOCOL (RTP, rtp);
REGISTER_PROTOCOL (TCP, tcp);
REGISTER_PROTOCOL (UDP, udp);
而大部分情况下,如果你不指明类似file://xxx,http://xxx 格 式,它都以FILE protocol
来处理。
[liavformat/avio.c]
int url_open(URLContext **puc, const char *filename, int flags) { URLProtocol *up; const char *p; char proto_str[128], *q; p = filename; q = proto_str; while (*p != '\0' && *p != ':') { /* protocols can only contain alphabetic chars */ if (!isalpha(*p)) goto file_proto; if ((q - proto_str) < sizeof(proto_str) - 1) *q++ = *p; p++; } /* if the protocol has length 1, we consider it is a dos drive */ if (*p == '\0' || (q - proto_str) <= 1) { file_proto: strcpy(proto_str, "file"); } else { *q = '\0'; } up = first_protocol; while (up != NULL) { if (!strcmp(proto_str, up->name)) ################################################################# 很显然,此时已经知道up,filename,flags ################################################################# return url_open_protocol (puc, up, filename, flags); up = up->next; } *puc = NULL; return AVERROR(ENOENT); }
[libavformat/avio.c]
int url_open_protocol (URLContext **puc, struct URLProtocol *up, const char *filename, int flags) { URLContext *uc; int err; ########################################################################## 【a】? 为什么这样分配空间 ########################################################################## uc = av_malloc(sizeof(URLContext) + strlen(filename) + 1); if (!uc) { err = AVERROR(ENOMEM); goto fail; } #if LIBAVFORMAT_VERSION_MAJOR >= 53 uc->av_class = &urlcontext_class; #endif ########################################################################## 【b】? 这样的用意又是为什么 ########################################################################## uc->filename = (char *) &uc[1]; strcpy(uc->filename, filename); uc->prot = up; uc->flags = flags; uc->is_streamed = 0; /* default = not streamed */ uc->max_packet_size = 0; /* default: stream file */ err = up->url_open(uc, filename, flags); if (err < 0) { av_free(uc); *puc = NULL; return err; } //We must be carefull here as url_seek() could be slow, for example for //http if((flags & (URL_WRONLY | URL_RDWR)) || !strcmp(up->name, "file")) if(!uc->is_streamed && url_seek(uc, 0, SEEK_SET) < 0) uc->is_streamed= 1; *puc = uc; return 0; fail: *puc = NULL; return err; }
上面这个函数不难理解,但有些地方颇值得玩味,比如上面给出问号的地方,你明白
为什么这样Coding么?很显然,此时up->url_open()实际上调用的是 file_open()
[libavformat/file.c],看完这个函数,对上面的内存分配,是否恍然大悟:)
上面只是分析了url_open(),还没有分析url_fdopen(s, h);这部分代码,也留给有好
奇心的你了:)恩,为了追踪这个流程,走得有些远,但不是全然无用:)
于来了【4】,我们来看MPEG TS格式的侦测过程,这其实才是我们今天的主角
4. MPEG TS格式的探测过程
[liavformat/mpegts.c]
static int mpegts_probe(AVProbeData *p) { #if 1 const int size= p->buf_size; int score, fec_score, dvhs_score; #define CHECK_COUNT 10 if (size < (TS_FEC_PACKET_SIZE * CHECK_COUNT)) return -1; score = analyze(p->buf, TS_PACKET_SIZE * CHECK_COUNT, TS_PACKET_SIZE, NULL); dvhs_score = analyze(p->buf, TS_DVHS_PACKET_SIZE *CHECK_COUNT, TS_DVHS_PACKET_SIZE, NULL); fec_score= analyze(p->buf, TS_FEC_PACKET_SIZE*CHECK_COUNT, TS_FEC_PACKET_SIZE, NULL); // av_log(NULL, AV_LOG_DEBUG, "score: %d, dvhs_score: %d, fec_score: %d \n", score, dvhs_score, fec_score); // we need a clear definition for the returned score otherwise things will become messy sooner or later if(score > fec_score && score > dvhs_score && score > 6) return AVPROBE_SCORE_MAX + score - CHECK_COUNT; else if(dvhs_score > score && dvhs_score > fec_score && dvhs_score > 6) return AVPROBE_SCORE_MAX + dvhs_score - CHECK_COUNT; else if(fec_score > 6) return AVPROBE_SCORE_MAX + fec_score - CHECK_COUNT; else return -1; #else /* only use the extension for safer guess */ if (match_ext(p->filename, "ts")) return AVPROBE_SCORE_MAX; else return 0; #endif }
之所以会出现3种格式,主要原因是:TS标准是188Bytes,而小日本自己又弄了个
192Bytes的DVH-S格式,第三种的204Bytes则是在188Bytes的基础上,加上16Bytes的
FEC(前向纠错).
static int analyze(const uint8_t *buf, int size, int packet_size, int *index) { int stat[packet_size]; int i; int x=0; int best_score=0; memset(stat, 0, packet_size*sizeof(int)); ########################################################################## 由于查找的特定格式至少3 个Bytes,因此,至少最后3 个Bytes 不用查找 ########################################################################## for(x=i=0; i<size-3; i++){ ###################################################################### 参看后面的协议说明 ###################################################################### if(buf[i] == 0x47 && !(buf[i+1] & 0x80) && (buf[i+3] & 0x30)){ stat[x]++; if(stat[x] > best_score){ best_score= stat[x]; if(index) *index= x; } } x++; if(x == packet_size) x= 0; } return best_score; }
这个函数简单说来,是在size大小的buf中,寻找满足特定格式,长度为packet_size
的packet的个数,显然,返回的值越大越可能是相应的格式(188/192/204),其中的这个特
定格式,其实就是协议的规定格式:
Syntax No. of bits Mnemonic transport_packet(){ sync_byte 8 bslbf transport_error_indicator 1 bslbf payload_unit_start_indicator 1 bslbf transport_priority 1 bslbf PID 13 uimsbf transport_scrambling_control 2 bslbf adaptation_field_control 2 bslbf continuity_counter 4 uimsbf if(adaptation_field_control=='10' || adaptation_field_control=='11'){ adaptation_field() } if(adaptation_field_control=='01' || adaptation_field_control=='11') { for (i=0;i<N;i++){ data_byte 8 bslbf } } }
其中的sync_byte 固定为0x47,即上面的: buf[i] == 0x47
由于transport_error_indicator 为1 的TS Packet 实际有错误,表示携带的数据无意义,
这样的Packet 显然没什么意义,因此: !(buf[i+1] & 0x80)
对于adaptation_field_control,如果为取值为0x00,则表示为未来保留,现在不用,因此:
buf[i+3] & 0x30
这就是MPEG TS的侦测过程,很简单吧:)
后面我们分析如何从mpegts文件中获取stream 的过程。
5.渐入佳境
恩,前面的基础因该已近够了,有点像手剥洋葱头的感 ,我们来看看针对MPEG TS
的相应解析过程。我们后面的代码,主要集中在[libavformat/mpegts.c]里面,毛爷爷说:集
中优势兵力打围歼,恩,开始吧,蚂蚁啃骨头。
static int mpegts_read_header(AVFormatContext *s, AVFormatParameters *ap) { MpegTSContext *ts = s->priv_data; ByteIOContext *pb = s->pb; uint8_t buf[1024]; int len; int64_t pos; ...... /* read the first 1024 bytes to get packet size */ ##################################################################### 【1】有了前面分析缓冲IO 的经历,下面的代码就不是什么问题了:) ##################################################################### pos = url_ftell(pb); len = get_buffer(pb, buf, sizeof(buf)); if (len != sizeof(buf)) goto fail; ##################################################################### 【2】前面侦测文件格式时候其实已经知道TS 包的大小了,这里又侦测 次,其实 有些多余,估计是因为解码框架的原因,已近侦测的包大小没能从前面被带过来, 可见框架虽好,却也会带来或多或少的 些不利影响 ##################################################################### ts->raw_packet_size = get_packet_size(buf, sizeof(buf)); if (ts->raw_packet_size <= 0) goto fail; ts->stream = s; ts->auto_guess = 0; if (s->iformat == &mpegts_demuxer) { /* normal demux */ /* first do a scaning to get all the services */ url_fseek(pb, pos, SEEK_SET); ######### 【3】 ######### mpegts_scan_sdt(ts); ######### 【4 】 ######### mpegts_set_service(ts); ######### 【5】 ######### handle_packets(ts, s->probesize); /* if could not find service, enable auto_guess */ ts->auto_guess = 1; #ifdef DEBUG_SI av_log(ts->stream, AV_LOG_DEBUG, "tuning done\n"); #endif s->ctx_flags |= AVFMTCTX_NOHEADER; } else { ...... } url_fseek(pb, pos, SEEK_SET); return 0; fail: return -1; }
这里简单说一下MpegTSContext *ts,从上面可以看 ,其实这是为了解码不同容器格式所使用的私有数据,
只有在相应的诸如mpegts.c文件才可以使用的,这样,增加了这个库的模块化,而模块化的最大好处,
则在于把问题集中了个很小的有限区域里面,如果你自己构造程序时候,不妨多参考其基本思想--这样的化,
你之后的代码,还有你之后的生活,都将轻松许多。
【3】【4】其实调用的是同个函数:mpegts_open_section_filter() 我们来看看意欲何为。
static MpegTSFilter *mpegts_open_section_filter(MpegTSContext *ts, unsigned int pid, SectionCallback *section_cb, void *opaque, int check_crc) { MpegTSFilter *filter; MpegTSSectionFilter *sec; #ifdef DEBUG_SI av_log(ts->stream, AV_LOG_DEBUG, "Filter: pid=0x%x\n", pid); #endif if (pid >= NB_PID_MAX || ts->pids[pid]) return NULL; filter = av_mallocz(sizeof(MpegTSFilter)); if (!filter) return NULL; ts->pids[pid] = filter; filter->type = MPEGTS_SECTION; filter->pid = pid; filter->last_cc = -1; sec = &filter->u.section_filter; sec->section_cb = section_cb; sec->opaque = opaque; sec->section_buf = av_malloc(MAX_SECTION_SIZE); sec->check_crc = check_crc; if (!sec->section_buf) { av_free(filter); return NULL; } return filter; }
要完全明白这部分代码,其实需要分析作者对数据结构的定义:
依次为:
struct MpegTSContext;
|
V
struct MpegTSFilter;
|
V
+---------------+---------------+
| |
V V
MpegTSPESFilter MpegTSSectionFilter
其实很简单,就是struct MpegTSContext;中有NB_PID_MAX(8192)个TS 的Filter,而
每个struct MpegTSFilter 可能是PES 的Filter 或者Section 的Filter。
我们先说为什么是8192,在前面的分析中:
给出过TS 的语法结构:
Syntax No. of bits Mnemonic transport_packet(){ sync_byte 8 bslbf transport_error_indicator 1 bslbf payload_unit_start_indicator 1 bslbf transport_priority 1 bslbf PID 13 uimsbf transport_scrambling_control 2 bslbf adaptation_field_control 2 bslbf continuity_counter 4 uimsbf if(adaptation_field_control=='10' || adaptation_field_control=='11'){ adaptation_field() } if(adaptation_field_control=='01' || adaptation_field_control=='11') { for (i=0;i<N;i++){ data_byte 8 bslbf } } }
而8192,则是2^13=8192(PID)的最大数目,而为什么会有PES 和Section 的区分,请参
考ISO/IEC-13818-1,我实在不太喜欢重复已有的东西.
可见【3】【4】,就是挂载了两个Section 类型的过滤器,其实在TS 的两种负载中,section
是PES 的元数据,只有先解析了section,才能进 步解析PES 数据,因此先挂上section 的
过滤器。
挂载上了两种 section 过滤器,如下:
==================================================================
PID Section Name Callback
==================================================================
SDT_PID(0x0011) ServiceDescriptionTable sdt_cb
PAT_PID(0x0000) ProgramAssociationTable pat_cb
既然自是挂上Callback,自然是在后面的地方使用,因此,我们还是继续
【5】处的代码看看是最重要的地方了,简单看来:
handle_packets()
|
+->read_packet()
|
+->handle_packet()
|
+->write_section_data()
read_packet()很简单,就是去找sync_byte(0x47),而看来handle_packet()才会是我们真正
因该关注的地方了:)
这个函数很重要,我们贴出代码,以备分析:
/* handle one TS packet */ static void handle_packet(MpegTSContext *ts, const uint8_t *packet) { AVFormatContext *s = ts->stream; MpegTSFilter *tss; int len, pid, cc, cc_ok, afc, is_start; const uint8_t *p, *p_end; ########################################################## 获取该包的PID ########################################################## pid = AV_RB16(packet + 1) & 0x1fff; if(pid && discard_pid(ts, pid)) return; ########################################################## 是否是PES 或者Section 的开头(payload_unit_start_indicator) ########################################################## is_start = packet[1] & 0x40; tss = ts->pids[pid]; ########################################################## ts->auto_guess 此时为0,因此不考虑下面的代码 ########################################################## if (ts->auto_guess && tss == NULL && is_start) { add_pes_stream(ts, pid, -1, 0); tss = ts->pids[pid]; } if (!tss) return; ########################################################## 代码说的很清楚,虽然检查,但不利用检查的结果 ########################################################## /* continuity check (currently not used) */ cc = (packet[3] & 0xf); cc_ok = (tss->last_cc < 0) || ((((tss->last_cc + 1) & 0x0f) == cc)); tss->last_cc = cc; ########################################################## 跳 adaptation_field_control ########################################################## /* skip adaptation field */ afc = (packet[3] >> 4) & 3; p = packet + 4; if (afc == 0) /* reserved value */ return; if (afc == 2) /* adaptation field only */ return; if (afc == 3) { /* skip adapation field */ p += p[0] + 1; } ########################################################## p已近 达TS 包中的有效负载的地方 ########################################################## /* if past the end of packet, ignore */ p_end = packet + TS_PACKET_SIZE; if (p >= p_end) return; ts->pos47= url_ftell(ts->stream->pb) % ts->raw_packet_size; if (tss->type == MPEGTS_SECTION) { if (is_start) { ############################################################### 针对Section,符合部分第 个字节为pointer field,该字段如果为0, 则表示后面紧跟着的是Section的开头,否则是某Section的End部分和 另 Section 的开头,因此,这里的流程实际上由两个值is_start (payload_unit_start_indicator)和len(pointer field)起来决定 ############################################################### /* pointer field present */ len = *p++; if (p + len > p_end) return; if (len && cc_ok) { ######################################################## 1).is_start == 1 len > 0 负载部分由A Section 的End 部分和B Section 的Start 组成,把A 的 End 部分写入 ######################################################## /* write remaining section bytes */ write_section_data(s, tss, p, len, 0); /* check whether filter has been closed */ if (!ts->pids[pid]) return; } p += len; if (p < p_end) { ######################################################## 2).is_start == 1 len > 0 负载部分由A Section 的End 部分和B Section 的Start 组成,把B 的 Start 部分写入 或者: 3). is_start == 1 len == 0 负载部分仅是 个Section 的Start 部分,将其写入 ######################################################## write_section_data(s, tss, p, p_end - p, 1); } } else if (cc_ok) { ######################################################## 4).is_start == 0 负载部分仅是 个Section 的中间部分部分,将其写入 ######################################################## write_section_data(s, tss, p, p_end - p, 0); } else { ########################################################## 如果是PES 类型,直接调用其Callback,但显然,只有Section 部分 解析完成后才可能解析PES ########################################################## tss->u.pes_filter.pes_cb(tss, p, p_end - p, is_start); } }
write_section_data()函数则反复收集buffer中的数据,指导完成相关Section的重组过
程,然后调用之前注册的两个section_cb:
后面我们将分析之前挂在的两个section_cb
二、mpegts.c文件分析
1 综述
ffmpeg 框架对应MPEG-2 TS 流的解析的代码在mpegts.c 文件中,该文件有两个解复
用的实例:mpegts_demuxer 和mpegtsraw_demuxer,mpegts_demuxer 对应的真实的TS 流格
式,也就是机顶盒直接处理的 TS 流,本文主要分析和该种格式相关 的代码;
mpegtsraw_demuxer 这个格式我没有遇见过,本文中不做分析。本文针对的ffmpeg 的版本是
0.5 版本。
2 mpegts_demuxer 结构分析
AVInputFormat mpegts_demuxer = {au "mpegts", //demux 的名称 NULL_IF_CONFIG_SMALL("MPEG-2 transport stream format"),// 如果定义了 CONFIG_SMALL 宏,该域返回NULL,也就是取消long_name 域的定义。 sizeof(MpegTSContext),//每个demuxer 的结构的私有域的大小 mpegts_probe,//检测是否是TS 流格式 mpegts_read_header,//下文介绍 mpegts_read_packet,//下文介绍 mpegts_read_close,//关闭demuxer read_seek,//下文介绍 mpegts_get_pcr,//下文介绍 .flags = AVFMT_SHOW_IDS|AVFMT_TS_DISCONT,//下文介绍 };
该结构通过av_register_all 函数注册 ffmpeg 的主框架中,通过mpegts_probe 函数来
检测是否是TS 流格式,然后通过mpegts_read_header 函数找路音频流和路视频流(注
意:在该函数中没有找全所有的音频流和视频流),最后调用mpegts_read_packet函数将找
的音频流和视频流数据提取出来,通过主框架推入解码器。
3 mpegts_probe 函数分析
mpegts_probe被av_probe_input_format2调用,根据返回的score来判断那种格式的可
能性最大。mpegts_probe调用了analyze函数,我们先分析一下analyze函数。
static int analyze(const uint8_t *buf, int size, int packet_size, int *index) { int stat[TS_MAX_PACKET_SIZE];//积分统计结果 int i; int x=0; int best_score=0; memset(stat, 0, packet_size*sizeof(int)); for(x=i=0; i<size-3; i++){ if(buf[i] == 0x47 && !(buf[i+1] & 0x80) && (buf[i+3] & 0x30)){ stat[x]++; if(stat[x] > best_score){ best_score= stat[x]; if(index) *index= x; } } x++; if(x == packet_size) x= 0; } return best_score; }
analyze 函数的思路:
buf[i] == 0x47 && !(buf[i+1] & 0x80) && (buf[i+3] & 0x30)是TS 流同步开始的模式,
0x47 是TS 流同步的标志,(buf[i+1] & 0x80 是传输错误标志,buf[i+3] & 0x30 为0 时表示为
ISO/IEC 未来使用保留,目前不存在这样的值。记该模式为TS 流同步模式”
stat 数组变量存储的是TS 流同步模式”在某个位置出现的次数。
analyze 函数扫描检测数据,如果发现该模式,则stat[i%packet_size]++(函数中的x 变
量就是用来取模运算的,因为当x==packet_size时,x就被归零),扫描完后,自然是同步
位置的累加值最大。
mpegts_probe函数通过调用analyze函数来得 相应的分数,ffmpeg框架会根据该分
数判断是否是对应的格式,返回对应的AVInputFormat 实例。
4 mpegts_read_header函数分析
下文中省略号代表的是和mpegtsraw_demuxer相关的代码,暂不涉及。
static int mpegts_read_header(AVFormatContext *s, AVFormatParameters *ap) { MpegTSContext *ts = s->priv_data; ByteIOContext *pb = s->pb; uint8_t buf[5*1024]; int len; int64_t pos; ...... //保存流的当前位置,便于检测操作完成后恢复 原来的位置, //这样在播放的时候就不会浪费 段流。 pos = url_ftell(pb); //读取 段流来检测TS 包的大小 len = get_buffer(pb, buf, sizeof(buf)); if (len != sizeof(buf)) goto fail; //得 TS 流包的大小,通常是188bytes,我目前见过的都是188 个字节的。 //TS 包的大小有三种: //1) 通常情况下的188 字节 //2) 日本弄了个192Bytes 的DVH-S 格式 //3)在188Bytes 的基础上,加上16Bytes 的FEC(前向纠错),也就是204bytes ts->raw_packet_size = get_packet_size(buf, sizeof(buf)); if (ts->raw_packet_size <= 0) goto fail; ts->stream = s; //auto_guess = 1, 则在handle_packet 的函数中只要发现 个PES 的pid 就 //建立该PES 的stream //auto_guess = 0, 则忽略。 //auto_guess 主要作用是用来在TS 流中没有业务信息时,如果被设置成了1 的话, //那么就会将任何 个PID 的流当做媒体流建立对应的PES 数据结构。 //在mpegts_read_header 函数的过程中发现了PES 的pid,但 //是不建立对应的流,只是分析PSI 信息。 //相关的代码见handle_packet 函数的下面的代码: //tss = ts->pids[pid]; //if (ts->auto_guess && tss == NULL && is_start) { // add_pes_stream(ts, pid, -1, 0); // tss = ts->pids[pid]; //} ts->auto_guess = 0; if (s->iformat == &mpegts_demuxer) { /* normal demux */ /* first do a scaning to get all the services */ url_fseek(pb, pos, SEEK_SET); //挂载解析SDT 表的回调函数 ts->pids 变量上, //这样在handle_packet 函数中根据对应的pid 找 对应处理回调函数。 mpegts_open_section_filter(ts, SDT_PID, sdt_cb, ts, 1); //同上,只是挂上PAT 表解析的回调函数 mpegts_open_section_filter(ts, PAT_PID, pat_cb, ts, 1); //探测 段流,便于检测出SDT,PAT,PMT 表 handle_packets(ts, s->probesize); /* if could not find service, enable auto_guess */ //打开add pes stream 的标志,这样在handle_packet 函数中发现了pes 的 //pid,就会自动建立该pes 的stream。 ts->auto_guess = 1; dprintf(ts->stream, "tuning done\n"); s->ctx_flags |= AVFMTCTX_NOHEADER; } else { ...... } //恢复检测前的位置。 url_fseek(pb, pos, SEEK_SET); return 0; fail: return -1; }
下面介绍被 mpegts_read_header直接或者间接调用的几个函数: mpegts_open_section_filter, handle_packets,handle_packet 5 mpegts_open_section_filter 函数分析 这个函数可以解释mpegts.c 代码结构的精妙之处,PSI 业务信 息表的处理 都是通过该函数挂载 MpegTSContext 结构的pids 字段上的。这样如果你 想增加别的业务信息的表处理函数只要通过这个函数来挂载即可,体现了 软件设计的著名的开闭”原则。下面分析一下他的代码。
static MpegTSFilter *mpegts_open_section_filter(MpegTSContext *ts, unsigned int pid, SectionCallback *section_cb, void *opaque, int check_crc) { MpegTSFilter *filter; MpegTSSectionFilter *sec; dprintf(ts->stream, "Filter: pid=0x%x\n", pid); if (pid >= NB_PID_MAX || ts->pids[pid]) return NULL; //给filter 分配空间,挂载 MpegTSContext 的pids 上 //就是该实例 filter = av_mallocz(sizeof(MpegTSFilter)); if (!filter) return NULL; //挂载filter 实例 ts->pids[pid] = filter; //设置filter 相关的参数,因为业务信息表的分析的单 是段, //所以该filter 的类型是MPEGTS_SECTION filter->type = MPEGTS_SECTION; //设置pid filter->pid = pid; filter->last_cc = -1; //设置filter 回调处理函数 sec = &filter->u.section_filter; sec->section_cb = section_cb; sec->opaque = opaque; //分配段数据处理的缓冲区,调用handle_packet 函数后会调用 //write_section_data 将ts 包中的业务信息表的数据存储在这儿, //直 个段收集完成才交付上面注册的回调函数处理。 sec->section_buf = av_malloc(MAX_SECTION_SIZE); sec->check_crc = check_crc; if (!sec->section_buf) { av_free(filter); return NULL; } return filter; }
6 handle_packets 函数分析
handle_packets 函数在两个地方被调用, 个是mpegts_read_header 函数中,
另外 个是mpegts_read_packet 函数中,被mpegts_read_header 函数调用是用
来搜索PSI 业务信息,nb_packets 参数为探测的ts 包的个数;在mpegts_read_packet
函数中被调用用来搜索补充PSI 业务信息和demux PES 流,nb_packets 为0,0 不
是表示处理的包的个数为0。static int handle_packets(MpegTSContext *ts, int nb_packets) { AVFormatContext *s = ts->stream; ByteIOContext *pb = s->pb; uint8_t packet[TS_PACKET_SIZE]; int packet_num, ret; //该变量指示 次handle_packets 处理的结束。 //在mpegts_read_packet 被调用的时候,如果发现完 个PES 的包,则 // ts->stop_parse = 1 ,则当前分析结束。 ts->stop_parse = 0; packet_num = 0; for(;;) { if (ts->stop_parse>0) break; packet_num++; if (nb_packets != 0 && packet_num >= nb_packets) break; //读取 个ts 包,通常是188bytes ret = read_packet(pb, packet, ts->raw_packet_size); if (ret != 0) return ret; handle_packet(ts, packet); } return 0; }
7 handle_packet 函数分析
可以说handle_packet 是mpegts.c 代码的核心,所有的其他代码都是为
这个函数准备的。
在调用该函数之前先调用read_packet 函数获得个ts包(通常是188bytes),
然后传给该函数,packet参数就是TS包。static int handle_packet(MpegTSContext *ts, const uint8_t *packet) { AVFormatContext *s = ts->stream; MpegTSFilter *tss; int len, pid, cc, cc_ok, afc, is_start; const uint8_t *p, *p_end; int64_t pos; //从TS 包获得包的PID。 pid = AV_RB16(packet + 1) & 0x1fff; if(pid && discard_pid(ts, pid)) return 0; is_start = packet[1] & 0x40; tss = ts->pids[pid]; //ts->auto_guess 在mpegts_read_header 函数中被设置为0, //也就是说在ts 检测过程中是不建立pes stream 的。 if (ts->auto_guess && tss == NULL && is_start) { add_pes_stream(ts, pid, -1, 0); tss = ts->pids[pid]; } //mpegts_read_header 函数调用handle_packet 函数只是处理TS 流的 //业务信息,因为并没有为对应的PES 建立tss,所以tss 为空,直接返回。 if (!tss) return 0; /* continuity check (currently not used) */ cc = (packet[3] & 0xf); cc_ok = (tss->last_cc < 0) || ((((tss->last_cc + 1) & 0x0f) == cc)); tss->last_cc = cc; /* skip adaptation field */ afc = (packet[3] >> 4) & 3; p = packet + 4; if (afc == 0) /* reserved value */ return 0; if (afc == 2) /* adaptation field only */ return 0; if (afc == 3) { /* skip adapation field */ p += p[0] + 1; } /* if past the end of packet, ignore */ p_end = packet + TS_PACKET_SIZE; if (p >= p_end) return 0; pos = url_ftell(ts->stream->pb); ts->pos47= pos % ts->raw_packet_size; if (tss->type == MPEGTS_SECTION) { //表示当前的TS 包包含 个新的业务信息段 if (is_start) { //获取pointer field 字段, //新的段从pointer field 字段指示的位置开始 len = *p++; if (p + len > p_end) return 0; if (len && cc_ok) { //这个时候TS 的负载有两个部分构成: //1)从TS 负载开始 pointer field 字段指示的位置; //2)从pointer field 字段指示的位置 TS 包结束 //1)位置代表的是上 个段的末尾部分。 //2)位置代表的新的段开始的部分。 //下面的代码是保存上 个段末尾部分数据,也就是 //1)位置的数据。 write_section_data(s, tss, p, len, 0); /* check whether filter has been closed */ if (!ts->pids[pid]) return 0; } p += len; //保留新的段数据,也就是2)位置的数据。 if (p < p_end) { write_section_data(s, tss, p, p_end - p, 1); } } else { //保存段中间的数据。 if (cc_ok) { write_section_data(s, tss, p, p_end - p, 0); } } } else { int ret; //正常的PES 数据的处理 // Note: The position here points actually behind the current packet. if ((ret = tss->u.pes_filter.pes_cb(tss, p, p_end - p, is_start, pos - ts->raw_packet_size)) < 0) return ret; } return 0; }
8 write_section_data 函数分析
PSI 业务信息表在TS流中是以段为单传输的。static void write_section_data(AVFormatContext *s, MpegTSFilter *tss1, const uint8_t *buf, int buf_size, int is_start) { MpegTSSectionFilter *tss = &tss1->u.section_filter; int len; //buf 中是 个段的开始部分。 if (is_start) { //将内容复制 tss->section_buf 中保存 memcpy(tss->section_buf, buf, buf_size); //tss->section_index 段索引。 tss->section_index = buf_size; //段的长度,现在还不知道,设置为-1 tss->section_h_size = -1; //是否 达段的结尾。 tss->end_of_section_reached = 0; } else { //buf 中是段中间的数据。 if (tss->end_of_section_reached) return; len = 4096 - tss->section_index; if (buf_size < len) len = buf_size; memcpy(tss->section_buf + tss->section_index, buf, len); tss->section_index += len; } //如果条件满足,计算段的长度 if (tss->section_h_size == -1 && tss->section_index >= 3) { len = (AV_RB16(tss->section_buf + 1) & 0xfff) + 3; if (len > 4096) return; tss->section_h_size = len; } //判断段数据是否收集完毕,如果收集完毕,调用相应的回调函数处理该段。 if (tss->section_h_size != -1 && tss->section_index >= tss->section_h_size) { tss->end_of_section_reached = 1; if (!tss->check_crc || av_crc(av_crc_get_table(AV_CRC_32_IEEE), -1, tss->section_buf, tss->section_h_size) == 0) tss->section_cb(tss1, tss->section_buf, tss->section_h_size); } }