H.266/VVC相关技术学习笔记1：多模型CCLM(跨分量间线性模型预测)的发展历程+MMLM技术实现细节详解！！！

之前详细地学习了关于MMLM的发展历程以及实现的细节，最近有空我来总结一下，希望对大家有所帮助~

多模型CCLM全称是：Multi-model Based Cross-component Linear Model Chroma Intra-prediction for Video Coding(MM-CCLM)，简称MMLM。
最早提出MMLM是LG在H.266/VVC的JEM版本上的，那时候的单模型CCLM也已经成熟起来，但是他们发现仅仅靠一个线性模型去预测色度是远远不够的，并没有考虑到图像的纹理的分散性。
一、最原始JEM中的MMLM
下面是最原始的单模型CCLM求线性模型的方式

那时候还在用相邻的所有参考像素通过LMS最小二乘法去求模型的参数a和b.
虽然这种方式拟合出来的曲线最合理，通过其预测的色度相对来说也比较准确，但是其复杂度很高，因此在之后的会议中采纳了一种最大最小的简化方案。

因此，那时候的MMLM也是基于原始的单模型CCLM的方案去实现的
首先我们来分析一下MMLM的初衷！

我们可以看到那副图片中的两个标记起来的块，这幅图是取自PartyScene测试序列中的某一帧图片，两个散点图对应两个块的亮度色度分布。
图(a)反映白线内预测快的纹理分布，分布平坦，采样点分布均匀，线性拟合好
图(b)反映黑线内预测快的纹理分布，分布不平坦，纹理较为丰富，采样点分布离散性强，线性拟合不够合理。
表明一个简单的线性模型不足以精确的表示出分量间线性相关性，为了反映分量间关系的多样性，需要更复杂的模型。

下面详细讲一下MMLM的实现细节

先通过相邻的样本对去求亮度均值，然后根据此均值作为一个阈值再对相邻的样本对进行分组。
分组情况如下：

分好组之后，分别通过各自组的样本对去拟合各自的线性模型，然后在进行当前块色度预测的时候，对每一个点进行分组，用不同的线性模型去预测，这样就能够保证纹理细节丰富的点预测的更准确！

最原始的MMLM中的两组线性模型依旧沿用最原始的CCLM取用LMS拟合。

这是在JEM7.0上的性能增益

二、现在最新的N次会议上提出的MMLM
N次会议提出过两个版本的MMLM，
1.首先是N0264的提案
由于在最新的VTM4.0中新加入了两种CCLM的模式，分别是MDLM_T和MDLM_L,去与原始的CCLM相互竞争，此时的CCLM模式已经采纳为最大最小的简化模式了，如下图所示

线性模型的参数是通过从相邻的所有元素中去搜寻一个亮度最大和最小的点，然后利用这两个点去求解模型参数，此方法在没损失了一定的性能的同时，极大地降低了编解码端 的复杂度，主席认为这是可以接受的！

因此N0264的方案就就在原始的MMLM的基础上，采用最大最小的方案去拟合线性模型，同时也对MDLM_T和MDLM_L也使用MMLM，并让他们之间一起竞争。

N0264方案在VTM4.0上的性能如下：
2.其次是N0241的提案
该方法对MMLM进行了一定的改进，其中引入了一个拐点，如下所示

通过该拐点去对相邻的样本对进行分组，然后分别去拟合各自的线性模型
该提案总共进行了两个测试如下：
Test 1.8.1的实现细节及其性能

Test 1.8.2的实现细节及其性能