homerHEVC代码阅读（10）——基础结构之picture_t、slice_t、ctu_info_t

picture_t表示一帧图像。注意到picture_t中只包含一个片。而实际的数据由video_frame_t对象来管理（或者说由video_frame_t对象来指向）。
slice_t表示图像中的片。

ctu_info_t表示一个CTU。

参考图像列表list0和list1的区别：
P帧只参考list0的图像。
B帧参考list0和list1的图像。

list0中可以包含，编码顺序在当前帧之前但是播放顺序在当前帧之后的图像（即后向帧），也包含前向帧。

在编码的过程中，一个帧只能被标志为：
1、不是参考帧
2、放在short-term中作为参考帧
3、放在long-term中作为参考帧
4、直接输出

list0中的帧可以是short-term也可以是long-term。

short-term中的图像，由自带的picnum（每个图像有一个变量），计算出一个值，然后从高到底排列在short-term中。
long-term也一样，但是它的次序是从低到高的。

每次编码完成一个帧，这个次序（short-term和long-term中帧的次序）都会变动。

正常情况下，编完一帧都是把它放到最近的short-term中，意味着最容易被参考到，如果编码器需要改动，就会把某一帧放到short-term的后面，就是long-term，这些都是按照long-term picnum和short-term picnum大的大小次序存放的。

总结帧间预测的过程就是：
1、从ListX=0（即list0）开始（即前向预测），将参考索引iRefIndex设置为0
2、在当前iRefIndex下，生成高级运动矢量预测（AMVP）候选列表，得到最佳的运动矢量和最小代价;
3、以步骤2中选中的AMVP为起始点，在当前的iRefIndex帧内，以SA(T)D+λpred*Bits为代价进行运动估计,得到最佳的运动矢量和最小代价
4、置 iRefIndex=iRefIndex+l,重复步骤2和3,得到当前 iReflndex下的最佳运动矢量和最小代价;直到参考帧队列ListX中的所有标记为“Used for Reference“的参考帧都完成最佳运动矢量和最小代价的计算，并从中挑选代价最小的iReflndex作为当前预测方向下,最佳的参考索引;
5、将ListX=1 (即后向预测),重复(2)到(4)步骤,并挑选代价最小的iReflndex作为当前预测方向下的最佳的参考索引;
6、固定以List0 (或者List1)中最佳的参考索引和运动矢量为双向预测中的其中之一,对List1(或者list0)中所有参考索引进行(2)到(4)步骤,并找到最佳的双向预测参考索引和运动矢量。
7、比较前向预测、后向预测以及双向预测的最小代价,选择出最佳的预测方向。

参考图像集中存放的实际是图像的poc。
参考图像集实际的作用是管理已编码的图像，为后续的帧提供参考的图像，参考图像列表中的帧是从参考图像集中选出的。

struct picture_t
{
    // 片，在目前的编码器中，一帧中只有一片
    slice_t	slice;

    // 将要编码的帧
    video_frame_t	*img2encode;
};

struct slice_t
{
    // 片的索引
    uint32_t slice_index; //indice en la lista de slices

    // 片的类型
    uint32_t slice_type;

    // nal类型
    uint32_t nalu_type;

    // 该片中第一个slice的开始地址
    uint32_t first_cu_address;//address of first coding tree block in the slice

    // 当前cu的地址
    uint32_t curr_cu_address;//address of current coding tree block in the slice

    // 该片中最后一个cu的地址
    uint32_t last_cu_address;//m_uiDependentSliceCurEndCUAddr - address of current coding tree block in the slice partition units (256 per CU)

    // 是否为依赖性片
    uint32_t is_dependent_slice;//
    uint32_t slice_temporal_layer_non_reference_flag;//

    // 时域层mvp标识
    uint32_t slice_temporal_mvp_enable_flag;

    // 去方块滤波标识
    uint32_t deblocking_filter_disabled_flag;
    uint32_t sao_luma_flag;
    uint32_t sao_chroma_flag;
    uint32_t slice_loop_filter_across_slices_enabled_flag;
    uint32_t slice_beta_offset_div2;
    uint32_t slice_tc_offset_div2;

    // merge模式的最大候选数量
    uint32_t max_num_merge_candidates;

    // 对应的序列参数集
    sps_t		*sps;

    // 对应的图像参数集
    pps_t		*pps;

    // 量化步长
    int qp;

    // 图像计数
    uint32_t poc;

    // 深度
    uint32_t depth;

    // 子时域层
    uint32_t sublayer;//TLayer

    // 被参考的计数
    uint32_t referenced;

    // 参考的图像的索引数组
    uint32_t num_ref_idx[2];

    // 使用的参考图像集的索引
    uint32_t ref_pic_set_index;
    
    // 参考图像集中存放的实际是图像的poc
    // 参考图像集实际的作用是管理已编码的图像
    // 为后续的帧提供参考的图像
    // 参考图像列表中的帧是从参考图像集中选出的
    ref_pic_set_t	*ref_pic_set;

    // 参考的图像列表
    // 即list0和list1,P帧使用list0,B帧使用list0和list1
    video_frame_t	*ref_pic_list[2][MAX_NUM_REF];

    // 两个参考图像列表的长度，即ref_pic_list的长度
    int				ref_pic_list_cnt[2];
};

struct ctu_info_t 
{
    // cut编号
    int				ctu_number;
    // 该ctu在帧中的坐标（yuv三个分量）
    int				x[3],y[3];//global coordinates in frame
    // 尺寸
    int				size;
    // 该ctu被分成了多少个部分
    int				num_part_in_ctu;
    // 最后一个有效的分区
    int				last_valid_partition;
    // 失真
    uint32_t		distortion;

    // 分区信息列表
    cu_partition_info_t	*partition_list;

    uint8_t			*cbf[NUM_PICT_COMPONENTS];//[MAX_NUM_PARTITIONS];

    // 帧内预测模式
    uint8_t			*intra_mode[NUM_PICT_COMPONENTS-1];//[MAX_NUM_PARTITIONS];

    // 帧间预测模式
    uint8_t			*inter_mode;//[MAX_NUM_PARTITIONS];
    // 四叉树的索引
    uint8_t			*tr_idx;//[MAX_NUM_PARTITIONS];

    // 预测的深度
    uint8_t			*pred_depth;//[MAX_NUM_PARTITIONS];

    // 对ctu分割时的类型NxN还是2NxN等
    uint8_t			*part_size_type;//[MAX_NUM_PARTITIONS];
    // 预测模式
    uint8_t			*pred_mode;//[MAX_NUM_PARTITIONS];//intra or inter

    // skip模式
    uint8_t			*skipped;//[MAX_NUM_PARTITIONS];

    // merge模式
    uint8_t			*merge;
    // merge模式的索引
    uint8_t			*merge_idx;

    // 量化步长
    uint8_t			*qp;

    // 系数窗口
    wnd_t			*coeff_wnd;

    //inter

    // 参考的两个运动向量
    motion_vector_t		*mv_ref[2];
    // 运动向量的索引（不知到作用是什么）
    int8_t				*mv_ref_idx[2];
    // 运动向量的残差
    motion_vector_t		*mv_diff[2];
    // 运动向量残差的索引（不知道作用是什么）
    uint8_t				*mv_diff_ref_idx[2];

    //	uint8_t				*ref_idx1;

    // 当前ctu左边的ctu
    ctu_info_t		*ctu_left;
    // 左下角的ctu
    ctu_info_t		*ctu_left_bottom;
    // 上方的ctu
    ctu_info_t		*ctu_top;
    // 右上角的ctu
    ctu_info_t		*ctu_top_right;
    // 左上角的ctu
    ctu_info_t		*ctu_top_left;

    // 上方的啥？/左边的啥？
    int				top;
    int				left;

    //sao
    //	sao_stat_data_t (*stat_data)[NUM_PICT_COMPONENTS][NUM_SAO_NEW_TYPES];//to save memory this can be allocated in a wpp thread basis when processing is distributed (COMPUTE_AS_HM undefined)
    // sao的数据
    sao_stat_data_t stat_data[NUM_PICT_COMPONENTS][NUM_SAO_NEW_TYPES];//to save memory this can be allocated in a wpp thread basis when processing is distributed (COMPUTE_AS_HM undefined)

    // sao重建的参数
    sao_blk_param_t recon_params;

    // sao编码的参数
    sao_blk_param_t coded_params;
    //quant
    //	int				/*qp, */qp_chroma;/*, prev_qp, prev_dqp*/
    //    int				per;//, per_chroma;
    //    int				rem;//, rem_chroma;
    //    int				qpbits;
    //	uint			variance;
};