这里主要讲解的是多模态或者说是多序列MRI图像配准。采用的图片是人体膝盖图。配准暂且分为五部分。
Step1. 下载图片
Step2. 初始配准(粗配准)
Step3. 提高配准精度
Step4. 利用初始条件提高配准精度配准
Step5. 结果满意不满意,你说了算
下面一一详细说明以上几个步骤!
一,下载图片
这里采用的图片是matlab子带的两张MR膝盖图,“knee1.dcm” 作为参考图像,"knee2.dcm"为浮动图像!
1 2 |
|
可能接下来大家关注的问题就是这两幅图像到底有什么区别,这种区别又有多大的可视化程度,下面就为推荐两个比较好用的函数用于观测两幅图像的区别。
1 2 |
|
imshowpair函数就是指以成双成对的形式显示图片,其中一个重要的参数就是‘method’,他又4个选择
(1)‘falsecolor’ 字面意思理解就是伪彩色的意思了,其实就是把两幅图像的差异用色彩来表示,这个是默认的参数。
(2)‘blend’ 这是一种混合透明处理类型,技术文档的翻译是alpha blending,大家自己理解吧。
(3)‘diff’ 这是用灰度信息来表示亮度图像之间的差异,这是对应‘falsecolor’的一种方式。
(4)参数‘monotage’可以理解成‘蒙太奇’,这是一种视频剪辑的艺术手法,其实在这里我们理解成拼接的方法就可以了。
为什么在这里罗里吧嗦的说这么多的显示呢,大家知道"人靠衣装,美靠...."(就不多说了吧),总之就是一个好的视觉效果能给人以耳目一新的效果。
嗯嗯,这个就是蒙太奇的效果了,
这两个则分别是伪彩色,混合透明处理了,至于大家接受那个就要看自己的爱好了
说到了这里终于结束了这关没有意义的读图环节,请大家原谅我的无耻吧。
二,初始配准(粗配准)
初始配准就是大致的使图像对其,使其差别不要太明显,以方便下一步的精细配准环节。
函数imregconfig这在个环节可是主角,从名字上看就知道他要设置一些参数和方法了,其实他真正的作用是配置优化器和度量准则,
1 |
|
参数modality指定fixed image, moving image之间的关系,有两种选择‘monomodal’, 'multimodal'两种,分别质量两幅图像是单一模态还是多模态,根据需要自己选择。
返回的参数optimizer是用于优化度量准则的优化算法,这里有
registration.optimizer.RegularStepGradientDescent 或者 registration.optimizer.OnePlusOneEvolutionary两种可供选择。
输出参数metric则是注明了度量两幅图片相似度的方法,提供了均方误差(registration.metric.MeanSquares)和互信息(registration.metric.MattesMutualInformation)两种供选择。
当然大家也可以根据结构扩充这两个参数。
到这里优化器和度量准别就已将做好了,是不是简单到没朋友。
要上大菜了,配准代码
1 2 3 |
|
imregister函数根据取得的optimizer,metric参数对2D,3D参考图像做变换(transform)目的是fixed,moving image对其,大家关注到有一个参数‘affine’,他是指该变化是仿射变换,同样该参数还可以选为
‘translation’ (x,y)坐标平移变换,不牵涉到旋转个尺度变换
‘rigid’ 刚性变换(平移和旋转)
‘similarity’ 改变换包括了平移,旋转和尺度变换
‘affine’ 在similarity的基础上加入了shear(图像的剪辑)
该图片就是粗配准的结果了,大家可以在右上角看到明显的不重合现象。
三,提高配准精度
粗配准的结果一般情况下达不到实际应用的要求,为此很有必要进一步提高精度,如果有对精度要求不高的朋友看到这里就可以结束了。
1 2 |
|
这两条指令可以看到默认生成的优化器和度量函数参数,当然这里提高精度的途径就是通过修改这两个参数了!
在这里我们通过修改两个参数,观察对配准效果的改进:
(1)改变优化器的步长已达到对更加精细的变换。
1 2 3 4 |
|
把原步长缩小为原来的3.5倍,结果如下
貌似效果还是有点的啊,大家在看右上角的阴影好像不见了
(2)在(1)基础上改变最大迭代次数
1 2 3 4 |
|
效果如下:正上的阴影好像也减小了
四,改变初始条件提高精度
这里的思想就像我们在做雕塑一样,假如我们要用石头雕一个人,首先我们可以大刀阔斧的把头部留出来,然后把脖子留的比头部更细,简单的说就是美女留出S轮廓,或者o型的(哈哈,对号入座就可以了),下一步精雕细琢的时候就会轻松很多,这里的初始条件就是先用简单的变换做出一个初始配准图像,然后以初始配准的结果作为输入做精细配准。
大致做法如下:
1 |
|
用similarity的变换方式做初始配准,或者你还可以用rigid,transform的方式都可以
1 |
|
在这里imregtform把变化矩阵输出;
然后用imref2d限制变换后的图像与参考图像有相同的坐标分布
1 |
|
imwarp函数执行几何变换,当然依据则是tformSimilarity的变换矩阵了。
1 2 3 |
|
得到的tformsimilarity.T就是传说中的变换矩阵了
tformSimilarity.T= 1.0331 -0.1110 0
0.1110 1.0331 0
-51.1491 6.9891 1.0000
下面就是精配准的部分了:
1 2 3 4 |
|
初始配准结果:
进一步精细配准:
五,到这里就是你说了算了Deciding When Enough is Enough
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
|
选择一个合适的,理想的你想要的结果。
下面就我自己的采集的图像就将上面的分析整理成一套完整的代码,如下:
%%%%%%%%%读取两幅图片,并且比较两者的不同%%%%%%%%%%%%%%%%
moving=imread('175600000005.Tiff');
moving=moving(:,:,1);%要求是单通道图像,
fixed=imread('215600000005.Tiff');
fixed=fixed(:,:,1);
figure,imshow(moving,[]);
figure,imshowpair(moving,fixed,'falsecolor');
%figure,imshowpair(moving,fixed,'blend');
title('unregiistered');
[optimizer, metric] = imregconfig('multimodal');%参数modality指定fixed image, moving image之间的关系,有两种选择‘monomodal’, 'multimodal'两种,
%分别质量两幅图像是单一模态还是多模态
%%%%%%%%%%%%%粗配准%%%%%%%%%%%%%%%%%%%%%%%%%%%5
movingRegisteredDefault = imregister(moving, fixed, 'affine', optimizer, metric);
%参数optimizer是用于优化度量准则的优化算法,参数metric则是注明了度量两幅图片相似度的方法
%‘similarity’ 改变换包括了平移,旋转和尺度变换,‘affine’ 在similarity的基础上加入了shear(图像的剪辑)
figure, imshowpair(movingRegisteredDefault, fixed);
title('A: Default registration');
%%%%%%%%%%%%%%%%%精细配准%%%%%%%%%%%%%%%%%%5
disp('optimizer');
disp('metric');
optimizer.InitialRadius = optimizer.InitialRadius/3.5;%改变优化器的步长已达到对更加精细的变换
movingRegisteredAdjustedInitialRadius = imregister(moving, fixed, 'affine', optimizer, metric);
figure, imshowpair(movingRegisteredAdjustedInitialRadius, fixed);
title('Adjused InitialRadius');
optimizer.MaximumIterations = 300;%在上面的基础上改变最大迭代次数
movingRegisteredAdjustedInitialRadius300 = imregister(moving, fixed, 'affine', optimizer, metric);
figure, imshowpair(movingRegisteredAdjustedInitialRadius300, fixed);
title('B: Adjusted InitialRadius, MaximumIterations = 300, Adjusted InitialRadius.');
%%%%%%%%%%%%另一个方法:改变初始条件提高精度%%%%%%%%%%%%%%%%%%%
tformSimilarity = imregtform(moving,fixed,'similarity',optimizer,metric);%用similarity的变换方式做初始配准,还可以用rigid,transform的方式
Rfixed = imref2d(size(fixed));%imregtform把变化矩阵输出;然后用imref2d限制变换后的图像与参考图像有相同的坐标分布
movingRegisteredRigid = imwarp(moving,tformSimilarity,'OutputView',Rfixed);%imwarp函数执行几何变换,依据则是tformSimilarity的变换矩阵。
figure, imshowpair(movingRegisteredRigid, fixed);
title('C: Registration based on similarity transformation model.');
%%%%%%%接下来精准配准%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
movingRegisteredAffineWithIC = imregister(moving,fixed,'affine',optimizer,metric,...
'InitialTransformation',tformSimilarity);
figure, imshowpair(movingRegisteredAffineWithIC,fixed);
title('D: Registration from affine model based on similarity initial condition.');
%%%%%%%%%%%%%%%总结对比以上4中方法输出结果,AC效果相当,BD效果相当,最精确配准%%%%%%%%%%%
% figure
% imshowpair(movingRegisteredDefault, fixed)
% title('A - Default settings.');
%
% figure
% imshowpair(movingRegisteredAdjustedInitialRadius, fixed)
% title('B - Adjusted InitialRadius, 100 Iterations.');
%
% figure
% imshowpair(movingRegisteredAdjustedInitialRadius300, fixed)
% title('C - Adjusted InitialRadius, 300 Iterations.');
%
% figure
% imshowpair(movingRegisteredAffineWithIC, fixed)
% title('D - Registration from affine model based on similarity initial condition.');