在H.264/AVC标准中,整个系统框架被分为了两个层面:视频编码层面(VCL)和网络抽象层面(NAL)。
VCL负责表示视频数据的内容,NAL则负责格式化数据并提供头信息,以保证数据适合各种信道和存储介质上的传输。
在VCL数据传输或存储之前,这些编码的VCL数据,先被映射或封装进NAL单元中。
NAL单元是NAL的基本语法结构,它包含一个字节的头信息和一系列来自VCL的称为原始字节序列载荷的字节流(RBSP)。
H264码流结构图:
起始码:如果NALU对应的slice为一帧的开始,NAL则用4字节表示,即0x00 00 00 01,负责用3字节表示:0x00 00 01。
NAL Header:forbidden_bit,nal_reference_bit(优先级),nal_unit_type(类型)。
脱壳操作:为了使NALU主体不包括起始码,在编码时每遇到两个字节(连续)的0,就插入一字节0x03,以和起始码区别。
流程为:首先从NAL单元中提取出RBSP结构流,然后根据NALU类型处理RBSP数据。
int FindStartCode (unsigned char *Buf, int zeros_in_startcode) { int info; int i; info = 1; for (i = 0; i < zeros_in_startcode; i++) if(Buf[i] != 0) info = 0; if(Buf[i] != 1) info = 0; return info; }
int getNextNal(FILE* inpf, unsigned char* Buf)//打开的文件句柄,和将读取的字节存储到Buf中 { int pos = 0; int StartCodeFound = 0; int info2 = 0; int info3 = 0; int i = 0; while (!feof(inpf) && (Buf[pos++] = fgetc(inpf)) == 0);//跳过NAL头 <span style="white-space:pre"> </span>/*通过查找下一次的NAL头来计算本次的NAL的长度,根据长度来读取NAL数据包*/ while (!StartCodeFound) { if (feof (inpf)) { return pos-1; } Buf[pos++] = fgetc (inpf); printf("%02X\n", Buf[pos - 1]); info3 = FindStartCode(&Buf[pos-4], 3); if(info3 != 1) info2 = FindStartCode(&Buf[pos-3], 2); StartCodeFound = (info2 == 1 || info3 == 1); } fseek (inpf, -4, SEEK_CUR); return pos - 4;//返回的就是一个NAL的长度 }
得到NAL就可以去做相应的解码处理了。X264提供的仅是对于h264的编码操作,FFMPEG有解码的实现,具体的请看我的另一篇博文,