h264Analyze读取.h264码流文件

简介

为什么要学习H264裸流呢？一开始是这样的。用自己的FFMpeg命令转mp4生成的.h264,以及自己使用live555客户端，写文件产生的h264文件，都是比较规则的。

0000 0001 0605 45dc 45e9 bde6 d948 b796
2cd8 20d9 23ee ef20 5456 2e53 4f48 552e
434f 4d20 2d20 482e 3236 342f 4d50 4547
2d34 2041 5643 2063 6f64 6563 202d 2076
6572 7369 6f6e 2031 3230 2000 8000 0000
0167 4d40 1fe8 8078 08b4 d404 0405 0000
0300 0100 0003 0032 8f18 3112 0000 0001
68eb ec4c 8000 0001 6588 8400 e909 fc9d
4004 747c 0a6d 52fc 8e31 a332 94d5 4f84
...

而我用iPhone摄像头获取的，保存的流是这种
(是用AVCC转换的Annex B)

0500 0003 0001 0000 0300 328f 1831 1200
0000 0168 ebec 4c80 0000 0001 674d 401f
e880 7808 b4d4 0404 0500 0003 0001 0000
0300 328f 1831 1200 0000 0168 ebec 4c80
0000 0001 0605 45dc 45e9 bde6 d948 b796
2cd8 20d9 23ee ef20 5456 2e53 4f48 552e
434f 4d20 2d20 482e 3236 342f 4d50 4547
2d34 2041 5643 2063 6f64 6563 202d 2076
6572 7369 6f6e 2031 3230 2000 8000 0000
0167 4d40 1fe8 8078 08b4 d404 0405 0000
0300 0100 0003 0032 8f18 3112 0000 0001
68eb ec4c 8000 0000 0165 8884 00e9 09fc
9d40 0474 7c0a 6d52 fc8e 31a3 3294 d54f
8407 6020 0000 0300 0003 0000 0300 0867
7da1 2d99 a914 e000 0003 0027 66f7 b6d3
83a2 fda3 cca4 bcac 7526 cc58 8b5b e66c
00b6 e84b 3d37 bf00 0eda ad2b 6594 475d

为什么两种看起来差别较大呢？这两种都是Annex B格式的？还是说第二种是因为videotoolbox的AvCC转换的原因，不是标准的Annex B了？

---

h264bitstream是个开源项目，官网,可以用来分析h264码流。

使用

下载编译

1. 直接下载源码包，编译生成h264_analyze可执行文件。
2. 执行命令。(无论如何折腾都失败，找不到可以正常执行的命令)
3. 而后发现了Mac版能使用的工具，H264Naked（基于
   h264bitstream用QT开发的跨平台程序）

H264_Naked.png

H264Naked既可以识别.264,也可以还别.h264.但是使用live555MediaServer播放RTSP流，live555MediaServer只支持.264后缀。

调试

通过H264Naked可以看到码流对应NAL的信息，但是无法进行调试深入了解过程。于是想办法在做一个iOS版的Demo。

新建一个Xcode工程

新建一个工程h264Analyze.

引入h264bitstream源码

2. 把h264bitstream源码放在一个h264文件夹下，放进工程里

➜  h264 tree
.
├── bs.h
├── h264_analyze.c
├── h264_analyze.h
├── h264_avcc.c
├── h264_avcc.h
├── h264_sei.c
├── h264_sei.h
├── h264_stream.c
└── h264_stream.h

0 directories, 9 files
➜  h264 

工程结构

h264Analyze_xcodeproj.png

修改部分源码

1. 创建一个h264_analyze.h,原先只有h264_analyze.c里边是main函数。这里改一下名字，叫start

extern "C" {

int start(int argc, char *argv);
}

2. 修改h264_analyze.c，原有的main函数，第二个参数是数组，改为字符串，就是输入文件(.h264).
3. 修改AppDelegate.m为AppDelegate.mm
4. 引入头文件，调用。

   NSString *str1 = [[NSBundle mainBundle] pathForResource:@"video1" ofType:@"264"];
    NSLog(@"--%@",str1);
    
    start(2, (char*)[str1 UTF8String]);

运行

控制台会输出，类似以下信息

!! Found NAL at offset 4 (0x0004), size 27 (0x001B) 
XX 00 00 00 01 67 4D 40 1F E8 80 78 08 B4 D4 04 04 

==================== NAL ====================
 forbidden_zero_bit : 0 
 nal_ref_idc : 3 
 nal_unit_type : 7 ( Sequence parameter set ) 
======= SPS =======
 profile_idc : 77 
 constraint_set0_flag : 0 
 constraint_set1_flag : 1 
 constraint_set2_flag : 0 
 constraint_set3_flag : 0 
 constraint_set4_flag : 0 
 constraint_set5_flag : 0 
 reserved_zero_2bits : 0 
 level_idc : 31 
 seq_parameter_set_id : 0 
 chroma_format_idc : 1 
 residual_colour_transform_flag : 0 
 bit_depth_luma_minus8 : 0 
 bit_depth_chroma_minus8 : 0 
 qpprime_y_zero_transform_bypass_flag : 0 
 seq_scaling_matrix_present_flag : 0 
 log2_max_frame_num_minus4 : 0 
 pic_order_cnt_type : 0 
   log2_max_pic_order_cnt_lsb_minus4 : 1 
   delta_pic_order_always_zero_flag : 0 
   offset_for_non_ref_pic : 0 
   offset_for_top_to_bottom_field : 0 
   num_ref_frames_in_pic_order_cnt_cycle : 0 
 num_ref_frames : 3 
 gaps_in_frame_num_value_allowed_flag : 0 
 pic_width_in_mbs_minus1 : 59 
 pic_height_in_map_units_minus1 : 33 
 frame_mbs_only_flag : 1 
 mb_adaptive_frame_field_flag : 0 
 direct_8x8_inference_flag : 1 
 frame_cropping_flag : 0 
   frame_crop_left_offset : 0 
   frame_crop_right_offset : 0 
   frame_crop_top_offset : 0 
   frame_crop_bottom_offset : 0 
 vui_parameters_present_flag : 1 
=== VUI ===
 aspect_ratio_info_present_flag : 0 
   aspect_ratio_idc : 0 
     sar_width : 0 
     sar_height : 0 
 overscan_info_present_flag : 0 
   overscan_appropriate_flag : 0 
 video_signal_type_present_flag : 1 
   video_format : 5 
   video_full_range_flag : 0 
   colour_description_present_flag : 1 
     colour_primaries : 1 
   transfer_characteristics : 1 
   matrix_coefficients : 1 
 chroma_loc_info_present_flag : 0 
   chroma_sample_loc_type_top_field : 0 
   chroma_sample_loc_type_bottom_field : 0 
 timing_info_present_flag : 1 
   num_units_in_tick : 1 
   time_scale : 50 
   fixed_frame_rate_flag : 1 
 nal_hrd_parameters_present_flag : 0 
 vcl_hrd_parameters_present_flag : 0 
   low_delay_hrd_flag : 0 
 pic_struct_present_flag : 0 
 bitstream_restriction_flag : 1 
   motion_vectors_over_pic_boundaries_flag : 1 
   max_bytes_per_pic_denom : 0 
   max_bits_per_mb_denom : 0 
   log2_max_mv_length_horizontal : 11 
   log2_max_mv_length_vertical : 11 
   num_reorder_frames : 1 
   max_dec_frame_buffering : 3 
=== HRD ===
 cpb_cnt_minus1 : 0 
 bit_rate_scale : 0 
 cpb_size_scale : 0 
   bit_rate_value_minus1[0] : 0 
   cpb_size_value_minus1[0] : 0 
   cbr_flag[0] : 0 
 initial_cpb_removal_delay_length_minus1 : 0 
 cpb_removal_delay_length_minus1 : 0 
 dpb_output_delay_length_minus1 : 0 
 time_offset_length : 0 
!! Found NAL at offset 35 (0x0023), size 5 (0x0005) 
XX 00 00 00 01 68 EB EC 4C 80 
==================== NAL ====================
 forbidden_zero_bit : 0 
 nal_ref_idc : 3 
 nal_unit_type : 8 ( Picture parameter set ) 
======= PPS =======
 pic_parameter_set_id : 0 
 seq_parameter_set_id : 0 
 entropy_coding_mode_flag : 1 
 pic_order_present_flag : 0 
 num_slice_groups_minus1 : 0 
 slice_group_map_type : 0 
 num_ref_idx_l0_active_minus1 : 2 
 num_ref_idx_l1_active_minus1 : 0 
 weighted_pred_flag : 1 
 weighted_bipred_idc : 2 
 pic_init_qp_minus26 : 0 
 pic_init_qs_minus26 : 0 
 chroma_qp_index_offset : -4 
 deblocking_filter_control_present_flag : 1 
 constrained_intra_pred_flag : 0 
 redundant_pic_cnt_present_flag : 0 
 transform_8x8_mode_flag : 0 
 pic_scaling_matrix_present_flag : 0 
 second_chroma_qp_index_offset : 0 
!! Found NAL at offset 44 (0x002C), size 27 (0x001B) 
XX 00 00 00 01 67 4D 40 1F E8 80 78 08 B4 D4 04 04 

==================== NAL ====================
 forbidden_zero_bit : 0 
 nal_ref_idc : 3 
 nal_unit_type : 7 ( Sequence parameter set ) 
======= SPS =======
 profile_idc : 77 
 constraint_set0_flag : 0 
 constraint_set1_flag : 1 
 constraint_set2_flag : 0 
 constraint_set3_flag : 0 
 constraint_set4_flag : 0 
 constraint_set5_flag : 0 
 reserved_zero_2bits : 0 
 level_idc : 31 
 ...

这些流信息跟H264Naked解析出来的类似。

结论

以上两种其实都是Annex B格式的h264裸流，只是后者中间夹杂了一些SEI的NAL以及重复有SPS跟PPS,后边才有IDR。也就是前边有些冗余信息，并且中间夹杂了一些SEI等。

Demo

git地址h264Analyze

备注

1. .h264裸流文件怎么来?
2. 限于篇幅原因，对码流的具体解析后边在写。