剖析 Structure tensor and nonsubsampled shearlet transform based algorithm for CT and MRI image fusion

晚上看了这篇论文，是由刘师兄最近发表的，创新之处在于将 结构张量 与 NSST（非下采样剪切波变换）融合在一起构造了一个反问题模型，然后通过最优化方法中常用的 共轭梯度法 进行反向求解。

（一）结构张量

结构张量应用于图像融合也是最近的事情，引用的论文是W. Zhao, Z. Xu, J. Zhao, Gradient entropy metric and p-Laplace diffusion constraint-based algorithm for noisy multispectral image fusion, Inf. Fusion 27  (2016) 138–149. 所以结构张量还是比较新的东西，而且可以通过一定规则的运算成为融合因子，在图像边缘和主要特征的保持上面应该还是很有效果的。

当相邻的两个像素变的无限小的时候，

G就是结构张量。推导过程很简单，把第一个算式转置与自身相乘，再分别分解，就是第二个式子。

（二）NSST

NSST和NSCT的结构差不太多，NSCT上次我在组会上面讲了，比较熟悉，NSST应该主要就是把变换基换了一下，从轮廓波的基 变成了 剪切波的基。它们的主要方法是：

（1）非下采样金字塔分解。上次老师理解的是频域上一层一层地往外抠外面那层环，实际上不够严谨，此频域非彼频域， 我们的变换域是基于轮廓波的基 或者 剪切波的基变换而成的，严格的频域是基于傅里叶基变换而成，不过原理基本上相同。 每一层的金字塔图像是我们扣走外环之后的反变换，它是一个空间域的图像。

（2）非下采样方向滤波器组。英文简称为NSDFB，通过一定的滤波器旋转方法（文献上说是采样），程序上是卷积，把原始的风扇滤波器组分解为2的n次方个方向子带。 第二层转动45°，第三层转动22.5°，以此类推。然后与非下采样金字塔变换抠出的不同大小不同层次的外环进行相乘，最终反变换到空间域，成为我们看到的最终分解图像。

现在有一些新发表的论文借用了NSDFB的原理，前面采取各种小波或者X波进行分解，然后再每一个子带上进行NSDFB相乘，也算是增加了方向信息吧。有空可以把这个代码写一写。DFB的代码在courlet工具箱里，NSDFB的代码在NSCT的工具箱里。

NSCT原理图：

（三）共轭梯度法：

这个没什么可说的，原理非常简单，就是那个程序，我至今没有看懂，我也不知道步长怎么搜索，共轭方向怎么确定，程序中用到了句柄函数Y=@(x).^2+3*x，类似于这种的。

（四）加权结构张量融合

前面已经说过了什么是结构张量，那么所有融合图像的结构张量就是

直接相加明显是不符合要求的，因此我加上了权重因子，权重因子w等于以像素（i，j）为中心的3×3窗口内的梯度绝对值之和，然后再除以相同位置的所有梯度值之和的均方值。

这样Gm就可以表示成为：

然后特征值分解：

意思是说λ1和λ2分别代表着多值图像的最大和最小的反差变化率。thita1 和thita2 代表着特征向量

融合图像GF应当与上面的GM形式类似，可以分解为式子（13），最小值肯定是0，所以目标梯度就等于上面的等式（14）。然后还要确定符号（正负，因为梯度是一个向量，是有方向的），有以下等式确定：

（五）NSST的低频融合

加权平均，没有什么可说的

（六）NSST的高频融合

卷积更加合适，卷积核[-1 -1 -1；-1 8 -1； -1 -1 -1]，卷完再平方相加

SSF值取大即可

（七）反问题及求解

后面两个系数HF 和 CF是前面我们求出来的融合图像的加权结构张量和NSST融合系数，而两个方括号内前两项 代表着我们的目标函数 和NSST变换函数 ，不要混淆，这个反问题最终求的是最优化的IF，即目标图像。

即   arg min u： Phi(u) = ||Dx*u - Vx||^2 + ||Dy*u - Vy||^2

解决方法肯定还是交替固定最小化迭代，明天看一看那个优化算法的ppt。

程序中更加详细。

问题在于这个程序是在是太慢了，共轭梯度法的第一次迭代都要耗费很长的时间，实在是不太实用。