多模态医学图像融合

摘要

拉普拉斯金字塔是一种多尺度融合方法。虽然基于金字塔的融合算法
能很好地融合图像，但随着分解层数的增加，存在边缘退化、细节丢失和图像平滑等缺点，不利于医学诊断和分析。因此文章提出了一种基于拉普拉斯金字塔和卷积神经网络重建的医学图像融合算法，结合局部梯度能量策略，可以大大提高边缘质量。
论文地址：Multimodal medical image fusion via laplacian pyramid and convolutional neural network reconstruction with local gradient energy strategy

脑成像技术

脑功能成像技术是一类无创的神经功能活动测量的成像技术。脑成像可以帮助医生对有疾病的脑部区域进行定位，帮助诊断治疗。脑成像主要分为如下五类。
计算机X线断层摄影(CT扫描)：CT扫描时，一束X射线穿过头部，感光胶片形成图像。这种方法可以产生脑部剖面成像，但只显示脑结构。
正电子发射断层扫描术（PET）：扫描仪通过检测被注射入或被吸入的放射物可以产生脑图像。
磁共振成像（MRI）：磁共振成像使用无线电频率信号检测，信号产生于磁场中转移的无线电波。
功能磁共振成像（fMRI）： 功能磁共振成像对流向特定脑区的血液的变化进行检测。
血管造影术：在染料被注入血液中后，血管造影术使用一束X射线。这种方法可以提供脑血管图像。
PET被广泛地用于脑瘤诊断，但是由于PET的分辨率有限，通常还需要加入CT或者MRI的扫描来完善对病灶的定位和指导治疗。

图像融合

图像融合(Image Fusion)是用特定的算法将两幅或多幅图像综合成一幅新的图像。融合结果由于能利用两幅(或多幅) 图像在时空上的相关性及信息上的互补性，并使得融合后得到的图像对场景有更全面、清晰的描述，从而更有利于人眼的识别和机器的自动探测。
一般情况下，图像融合由低到高分为：信号级融合、数据级融合、特征级融合、决策级融合。
**信号级：**在最低层对未经处理的传感器输出在信号域进行混合，产生一个融合后的信号。融合后的信号与源信号形式相同但品质更好，来自传感器的信号可建模为混有不同相关噪声的随机变量。此种情况下，融合可以考虑为一种估计过程，信号级图像融合在很大程度上是信号的最优集中或分布检测问题，对信号时间和空间上的配准要求最高。
像素级：像素级图像融合是三个层次中最基本的融合，经过像素级图像融合以后得到的图像具有更多的细节信息，如边缘、纹理的提取，有利于图像的进一步分析、处理与理解，还能够把潜在的目标暴露出来，利于判断识别潜在的目标像素点的操作，这种方法才可以尽可能多的保存源图像中的信息，使得融合后的图片不论是内容还是细节都有所增加，这个优点是独一无二的，仅存在于像素级融合中。但像素级图像融合的局限性也是不能忽视的，由于它是对像素点进行操作，所以计算机就要对大量的数据进行处理，处理时所消耗的时间会比较长，就不能够及时地将融合后图像显示出来，无法实现实时处理；另外在进行数据通信时，信息量较大，容易受到噪声的影响；还有如果没有将图片进行严格的配准就直接参加图像融合，会导致融合后的图像模糊，目标和细节不清楚、不精确。
**特征级：**特征级图像融合是从源图像中将特征信息提取出来，这些特征信息是观察者对源图像中目标或感兴趣的区域，如边缘、人物、建筑或车辆等信息，然后对这些特征信息进行分析、处理与整合从而得到融合后的图像特征。对融合后的特征进行目标识别的精确度明显的高于原始图像的精确度。特征级融合对图像信息进行了压缩，再用计算机分析与处理，所消耗的内存与时间与像素级相比都会减少，所需图像的实时性就会有所提高。特征级图像融合对图像匹配的精确度的要求没有第一层那么高，计算速度也比第一层快，可是它提取图像特征作为融合信息，所以会丢掉很多的细节性特征。
**决策级：**决策级图像融合是以认知为基础的方法，它不仅是最高层次的图像融合方法，抽象等级也是最高的。决策级图像融合是有针对性的，根据所提问题的具体要求，将来自特征级图像所得到的特征信息加以利用，然后根据一定的准则以及每个决策的可信度（目标存在的概率）直接做出最优决策。三个融合层级中，决策级图像融合的计算量是最小的，可是这种方法对前一个层级有很强的依赖性，得到的图像与前两种融合方法相比不是很清晰。将决策级图像融合实现起来比较困难，但图像传输时噪声对它的影响最小。
研究和应用最多的是像数级图像融合，目前提出的绝大多数的图像融合算法均属于该层次上的融合。图像融合狭义上指的就是像数级图像融合。
红外和可见的融合很多文献都是从像素级入手，基于已有的融合算法，根据实际情况，来设立融合规则，得到适合实际应用场景的融合图像。

拉普拉斯金字塔

在计算机视觉与图像处理相关任务中，可以使用图片不同大小的特征图，构成一个金字塔型的特征图层。拉普拉斯金字塔可以认为是残差金字塔，用来存储下采样后图片与原始图片的差异。
当我们对图像先进行下采样、再进行上采样后得的图像，与原图像是存在差异的，因为下采样过程丢失的信息不能通过上采样来完全恢复，也就是说下采样是不可逆的。为了能够从下采样的图像中还原原始图像，我们需要记录再次上采样得到的图像与原始图片之间的差异，这就是拉普拉斯金字塔的核心思想。
拉普拉斯金字塔就是记录高斯金字塔每一级下采样后再上采样与下采样前的差异，目的是为了能够完整的恢复出每一层级的下采样前图像。
OpenCV提供了上采样的函数：
cv2.pyrUp(src, dst=None, dstsize=None, borderType=None)
第一个参数表示输入的图像；第二个参数表示输出的图像；第三个参数表示输出图像的大小；第四个参数表示图像边界的处理方式。
通过该函数可以得到上采样的图像，再将原图与上采样的图作差，相减就可以得到拉普拉斯金字塔。
图像拉普拉斯金字塔分解的目的是将源图像分别分解到不同的空间频带上，融合过程是在各空间频率层上分别进行的，这样就可以针对不同分解层的不同频带上的特征与细节，采用不同的融合算子以达到突出特定频带上特征与细节的目的。即有可能将来自不同图像的特征与细节融合在一起。
**第一种融合方法为：**先计算顶层图像的区域平均梯度，根据区域平均梯度来进行融合；对于除顶层外各个层次，先计算图像的区域能量，根据区域能量来进行融合；经过前面的重构，便可得到最终的融合图像。
**第二种融合方法为：**采用最高层图像系数取平均，其余各层图像系数绝对值取大（或最小）的融合策略进行融合。融合后图像的系数（灰度值）越接近较清晰图像的灰度值就说明融合效果好。

网络结构

使用拉普拉斯金字塔和CNN网络，如图1。

图1 网络结构。up表示对图像进行上采样，MAX Fuse表示使用最大策略进行融合，LEG Fuse表示使用LEG策略进行融合。

图2 CNN网络

最大策略的主要步骤为：比较融合的两种图像的在同一个位置上的灰度值大小，选取较大的灰度值作为新图像在该位置的灰度值，遍历图像中所有的点，得到融合图。
LEG策略的主要步骤为：计算两个图像每个像素点周围上下左右五个点的区域梯度能量；对五个像素点的区域梯度能量求和；比较区域梯度能量和的大小，取能量大的点的灰度值作为新图像的点的灰度值；重复前面的步骤直至遍历图像所有的点。
计算局部梯度能量和LEG策略如图3。

图3 计算局部梯度能量的公式和LEG融合策略

该网络模型的主要步骤为：将两个输入的图像分别输入一个CNN网络，如图2，对图像进行20次的卷积，得到输出图像I1和I2；将I1和I2与卷积核大小为3的高斯核做卷积，并下采样，下采样后再和卷积核大小为3的高斯核做卷积，卷积核再进行上采样，并各自与I1和I2做差，得到L1和L2；将I1和I2分别和卷积核大小为3的高斯核做卷积，下采样后，使用最大策略融合得到Gf；将L1和L2使用最大策略进行融合得到Lf；将Gf进行上采样，与Lf做加法得到Ff；最后将Ff进行上采样，与Gf使用LEG策略进行融合，得到最后的结果图F。

实验

使用MRI图像和CT图像进行融合，结果如图4。

图4 基于三十对 MRI-CT 图像的融合指数

MRI-PET融合结果比较，如图5。

图5 MRI-PET融合结果比较。 (a)-(b) 是原始图像。 ©-(g) 是比较方法的融合结果。 (h) 是融合的结果提出的 LPLGE 算法。 (i) 是所提出算法 VDSR + LPLGE 的融合结果。