【图像分割应用】医学图像分割(二)——心脏分割

这是专栏《图像分割应用》的第2篇文章,本专栏主要介绍图像分割在各个领域的应用、难点、技术要求等常见问题。

相比较脑区域分割,医学图像中的心脏分割问题要更复杂,因为心脏是一个不停运作的器官,其形状也会在运动过程中发生变化。本文我们就来看看医学图像分割之心脏分割。

作者&编辑 | 孙叔桥

1 任务分析

心脏是我们身体内的一个重要器官,拥有一个健康、稳定工作的心脏是我们探索、创造和感知世界的必要条件。然而,各种各样的心脏类疾病也严重威胁着许多人的生命。为了有效治疗和预防这些疾病,精准计算、建模和分析整个心脏结构对于医学领域的研究和应用至关重要。


目前,这个问题的解决仍然需要依赖大量的人工。这样做不仅耗时,而且精度有时难以保证。因此,需要实现心脏区域的自动分割用于解决心脏医疗领域的实际问题。在众多手段中,基于神经网络的方法具有明显优势。以2016年Kaggle发起的左心室分割挑战为例,三名获奖者所使用的方法都是深度学习。

在心脏分割问题中,通常按结构将心脏分成几个标注区域。比如以MM-WHS数据库为例,有:

  • 左心室血腔(the left ventricle blood cavity, LV)

  • 左心室心肌(the myocardium of the left ventricle, Myo)

  • 右心室血腔(the right ventricle blood cavity, RV)

  • 左心房血腔(the left atrium blood cavity, LA)

  • 右心房血腔(te right atrium blood cavity, RA)

  • 升主动脉(the ascending aorta, AA)

  • 肺动脉(the pulmonary artery, PA)

【图像分割应用】医学图像分割(二)——心脏分割_第1张图片

这些区域由于本身的特性,其难易程度和分割手段也存在不同。通常来讲,普适性的心脏分割算法能够实现基本的区域分割,但是要实现精准分割还是需要对单独区域进行单独处理。相对而言,右心室(RV)的分割难度更大,我们就以此为例分析一下其存在的难点。

2 难点介绍

1. 区域本身的困难


心脏分割问题中,每个区域的形态、工作方式不同,从而导致了每个区域的分割方法和难点也不同。以右心室为例,其存在的难点有:


  • 在腔内存在与心肌相似的信号强度

  • 右心室新月形形状复杂,从基部到顶点一直变化

  • 分割顶点图像的切片十分困难

  • 患者的心室内形态和信号强度差异大,且可能有病理改变


简单来讲,左心室是一个厚壁的圆柱形区域,而右心室是一个不规则形状的物体,较薄的心室壁有时会与周围的组织混在一起。


下面用几组图片来感受一下这种分割问题的困难。下图是右心室的MRI图片:

【图像分割应用】医学图像分割(二)——心脏分割_第2张图片

再困难一点:

【图像分割应用】医学图像分割(二)——心脏分割_第3张图片

而对于未训练过的肉眼,右心室区域是这样的:

【图像分割应用】医学图像分割(二)——心脏分割_第4张图片

2. 数据库的困难


对基于深度学习的医学图像分割方法而言,数据库的获取是最主要的困难。通常,相对大规模的数据库的图片规模在几千张图片,其中已标注的通常只有几百张,患者个体数就更少了;而小一点规模的数据集则远远小于这个数量。这种体量的数据库对于无监督或弱监督网络也许够用,但是对于有监督网络的训练而言,是远远不够的。


与其他数据不足的场景相同,医学图像也可以借助数据扩张实现网络的训练。比如下图所示,通过随机旋转、平移、缩放、裁剪、弹性形变等手段,对原始图像进行变换:

【图像分割应用】医学图像分割(二)——心脏分割_第5张图片

3 应用实例

1. 心室分割


基于FCN网络结构实现左、右心室分割:

Phi V. T.. A Fully Convolutional Neural Network for Cardiac Segmentation in Short-Axis MRI[C]. CVPR 2016.

【图像分割应用】医学图像分割(二)——心脏分割_第6张图片

基于多尺度残差稠密网络实现心室分割:

Khened M., Kollerathu V. A., and Krishnamurthi G. Fully Convolutional Multi-scale Residual DenseNets for Cardiac Segmentation and Automated Cardiac Diagnosis using Ensemble of Classifiers[J]. Medical Image Analysis, 2019.

【图像分割应用】医学图像分割(二)——心脏分割_第7张图片

2. 完整心脏分割


基于P3D和FPN实现完整的心脏分割:

Zhanwei X., Ziyi W., and Jianjiang F.. CFUN: Combining Faster R-CNN and U-net Network for Efficient Whole Heart Segmentation

[C]. CVPR 2018.

【图像分割应用】医学图像分割(二)——心脏分割_第8张图片

总结

本文简要介绍了医学图像分割应用领域内的心脏分割,包括心室分割和全心脏分割。在进行任务分析和难点解读后,给出了几个应用范例。下期我们一起来看一下医学领域分割的最后一个子方向:肿瘤分割。

知识星球推荐

【图像分割应用】医学图像分割(二)——心脏分割_第9张图片

深度学习+图像分割星球由专栏作者孙叔桥维护,内设图像分割知识汇总,网络结构,代码研读,数据库及代码推荐等板块。

【图像分割应用】医学图像分割(二)——心脏分割_第10张图片

有三AI知识星球由言有三维护,内设AI知识汇总,AI书籍,网络结构,看图猜技术,项目开发,Github推荐,AI1000问等系统性学习板块。

今日网络结构

【图像分割应用】医学图像分割(二)——心脏分割_第11张图片

转载文章请后台联系

侵权必究

【图像分割应用】医学图像分割(二)——心脏分割_第12张图片

640?wx_fmt=png

640?wx_fmt=png

往期精选

  • 【技术综述】闲聊图像分割这件事儿

  • 【技术综述】基于弱监督深度学习的图像分割方法综述

  • 【完结】12篇文章带你逛遍主流分割网络

  • 【图像分割应用】医学图像分割(一)——脑区域分割

  • 【技术综述】多标签图像分类综述

  • 有三AI“夏季划”出炉,今夏进阶中级CV算法工程师

你可能感兴趣的:(【图像分割应用】医学图像分割(二)——心脏分割)