[概念]MICCAI+BraTS+多模态t1,t2,flair,t1c+HGG,LGG+WT,ET,TC

深度学习和医学的结合,自动分割医学图像已经成为一种可能,并且也是一个很大的趋势.

(本人通过查阅资料,并询问相关专业人士,再通过自己总结,如果有什么错误的地方帮忙指正)

一、MICCAI

MICCAI是由国际医学图像计算和计算机辅助干预协会(Medical Image Computing and Computer Assisted Intervention Society) 举办，跨医学影像计算(MIC)和计算机辅助介入 (CAI) 两个领域的综合性学术会议，是该领域的顶级会议

 

二、BraTS

简介

脑部肿瘤分割(brain tumor segmentation)是MICCAI所有比赛中历史最悠久的，已经连续办了8届,每年该比赛的参赛人数也几乎是所有比赛中最多的，因此这是一个很好的了解分割方法最前沿的平台。

 

三、数据集

BraTs18数据集下载地址(不包含测试集,验证集无GT)

链接：https://pan.baidu.com/s/1Ry41OVl9VLOMzhQQR9qXuA 提取码：qvmo

brats 2018中的训练集( training set) 有285个病例，每个病例有四个模态(t1、t2、flair、t1ce)，需要分割三个部分：whole tumor(WT), enhance tumor(ET), and tumor core(TC).

MR图像属性信息：（240x240x155）一个MR序列有155张图片，每张图片的大小为240x240

 

BraTs19数据集下载地址如下(不包含测试集,验证集无GT)

链接: https://pan.baidu.com/s/1S5XGTdHkwFnagKS-5vWYBg 提取码: 2333

相比较于2018的,HGG和LGG训练集中多了一些病例,不过大多数都是原来的,其余不变.

 

3.1数据来源

brats数据来自多个机构,使用不同的核磁共振扫描仪.

 

3.2 高级别HGG、低级别LGG

brats 训练集( training set) 又划分为HGG和LGG,他们分别表示:

• HGG :高级别胶质瘤（WHO3～4级）为低分化胶质瘤；这类肿瘤为恶性肿瘤，患者预后较差。
• LGG :低级别胶质瘤（WHO1～2级）为分化良好的胶质瘤；虽然这类肿瘤在生物上并不属于良性肿瘤，但是患者的预后相对较好。

 

 

3.3 domain shift

在论文《Intramodality Domain Adaptation Using Self Ensembling and Adversarial Training》提到:与自然图像不同的是，在生物医学图像分析中，domain shift问题是普遍存在的.第一种类型的domian shift是因为不同机构用于捕获数据的采集参数不同，导致了获取的图像是属于不同的domain。第二种类型的domian shift是因为不同级别和严重程度的肿瘤和癌症的分布可能是不同的，所以用高级别胶质瘤(HGG)和低级别胶质瘤(LGG)一起训练时,会限制分割模型的学习能力.当然,论文也提出方法来缓解HGG和LGG之间的domain shift.

 

 

 

 

3.4 多模态t1、t2、flair、t1ce

多模态

医学图像具有多模态特点,我理解的多模态通俗地讲就是一个东西可以有多种不同的形态表现,不过对于我们来说,收集多模态的数据集是比较困难的,但很庆幸地是BraTs中有t1、t2、t1ce、flair模态,足以可以让我们学习,每个模态有每个模态的特点.

多模态处理就是将组合图像和自然语言等多种信息进行的处理

多模态=多模式

单一的模式由于无法充分细分相关区域的肿瘤，常常会导致失败或是不足，利用不同的核磁共振成像模式，以效弥补上述弱点。多种模式图像信息能够有效互补，可以有效地提升分割的准确性，但是在一定程度上也增加了分割问题的难度，从多个模式中输入的图像信息，增加分割的必要信息，但同时增加大量不必要的信息，因此会加大分割问题的难度。

 

序列

在医学界把像 t1、t2、t1ce、flair这样的东东称为序列,一个病例的可以有多个序列,每个序列由许多切片组成, 此外,获得每种序列的方式不同,例如t1、t2是由于测量电磁波的物理量不同而产生的两种不同的序列,再例如t1ce序列要在做MR之前往血液打造影剂.

 

MRI

MRI是核共振成像(MR Image),原理是施加一个磁场,让原子核和磁场的节拍动起来(共振),当磁场停下来的时候,原子核恢复常态,这个恢复的过程会以电磁波的形式释放能量,探头检测出这个能量,并用于成像.

 

Flair

FLAIR序列是核磁共振(MR)的一种常用的序列，全称是液体衰减反转回复序列，也称为水抑制成像技术. 通俗地说,它是压水像。在该序列上，脑脊液呈现低信号(暗一些)，实质性病灶和含有结合水的病灶显示为明显的高信号(亮一些) 

 

T1、T2

T1、T2是用于测量电磁波的物理量,它们可以作为成像的数据.根据T1来成像的,就叫“T1加权成像(T1-weighted-imaging)”,临床工作中也经常简称“T1”,T2同理.

T1看结构

从下图中可以看到,T1图像的整体感官跟“临床图像”的“习惯配色风格”非常接近,你看白质是白的,灰质是灰的,脑脊液是黑的.所以T1图像就可以看出各种断层解剖图.于是“T1看解剖结构”的说法就这么来了.

 

T2看病变

T2信号跟水含量有关(而Flair是结合水)很多病灶的T2信号要强于周围的正常组织.而很多病变都伴随组织水肿.从下图中可以看到,非常白的是水肿,然后比较白的那块影影约约的就是病变(红色)的地方了.

水肿应该是占位效应,就是肿瘤压迫到周围组织了,导致周围的组织细胞水肿.

 

t1ce

t1ce序列要在做MR之前往血液打造影剂(颜料),亮的地方血供丰富,强化明显说明血流很丰富,什么地方需要血流很快呢?瘤嘛~它们不断分裂需要大量的营养. 下图所示, 蓝色区域是增强瘤(enhancing tumor),它环绕的里面绿色那些是坏疽(ju)(necrotic components),坏疽就是细胞坏死然后液化.所以这些坏疽还被被称为非增强瘤(non-enhancing tumor).

 

3.5 分割部分WT、ET、TC

下图是Brats的数据集的一个序列的病例[颜色标签和上面那些图无关],我通过ITK-SNAP导入flair序列以及对应的分割标签, 需要分割有三个部分分别是WT、ET、TC.

数据集规定, 图中绿色为浮肿区域(ED,peritumoral edema) (标签2)、黄色为增强肿瘤区域(ET,enhancing tumor)(标签4)、红色为坏疽(NET,non-enhancing tumor)(标签1)、背景(标签0)

关于水肿、增强瘤和坏疽的医学知识,我在3.4中都有提到它们,这里就不赘述.

然后这些标签合并为3个嵌套的子区域: whole tumor (WT), tumor core (TC) and enhancing tumor (ET)

即The whole tumor (WT) class includes all visible labels (a union of green, yellow and red labels), the tumor core (TC) class is a union of red and yellow, and the enhancing tumor core (ET) class is shown in yellow (a  hyperactive tumor part).

即

1. WT = ED + ET + NET
2. TC =  ET+NET
3. ET

 

而Brats比赛的时候比的就是这三个,例如在Brats19 validation上表现的排行榜中,如下图所示:

 

四、预处理

4.1 2DNet

我的步骤主要以下几步:

1、对各个模态进行标准化

2、对各模态及其GT数据进行裁剪

3、对各模态及其GT数据进行切片,并抛无病灶切片,最后合并成多通道数据

具体可以参考:链接

 

4.2 3DNet

具体可以参考: https://zhuanlan.zhihu.com/p/137163095

 

reference

1、医学知识---之T1，T2,flair,stir

2、The Multimodal Brain Tumor Image Segmentation Benchmark (BRATS)有关数据集的更多信息: [这里]

3、brats18 NO.1