医学图像3D目标检测

医学图像3D目标检测

论文:3D Bounding Box Detection in Volumetric Medical Image Data: A Systematic Literature Review

这篇论文综述了近五年在三维医学数据中进行3D Bouding Box Detection的方法。

1、论文背景
VOI的提取是重要的预处理步骤,例如在组织中对恶性肿瘤进行分割或分类的任务中那个,通常需要先对相应的组织进行定位。尤其是较小器官的语义分割会受益于预先定位。

3D医学图像主要来源于CT,MRI,PET,US,HFU等成像设备。

两种3D Bounding Box的表示方式:

  • 中心点坐标+长宽高
  • 位于对角的两点坐标

医学图像3D目标检测_第1张图片
3D检测使用3D图像作为输入来检测3D BBOX(Bouding Box,下同),3D CNN使用3D而不是2D的卷积核,在三个轴进行卷积,可以捕获切片之间的文本信息。3D的方法通常可以获得更好的结果,但需要消耗大量的计算资源,并且,3D训练数据通常比同等程度下的2D数据更难获取。

使用2D CNN来获取3D BBOX的流程:

使用3次单个的2D CNN,或者在三个截面上使用独立的三个CNN。然后将2D模型处理后的结果进行融合。

医学图像3D目标检测_第2张图片
通过多数投票的方式来确定3D BBOX

医学图像3D目标检测_第3张图片

2D相较于3D方法的优势:

1.较低的计算开销

2.较大量的训练数据(可以将3D数据切成大量Slices)

劣势在于:

1.文本信息(空间上下文信息)通常被丢失

2.检测结果的Slices需要被集成来获取一个3D BBOX,可能存在空间不连续性的问题

医学图像3D目标检测_第4张图片

医学图像3D目标检测_第5张图片

目前的方法主要分为以下几种:

  1. 基于切片的Box Detection
  2. 粗分割/概率图方法
  3. 深度强化学习
  4. 基于Anchor的方法
  5. 其他方法(如3D Sliding Window)
    结果的评价通常基于以下参数:IoU,Dice,AP.WD.

参考:综述文章:医学图像中的3D 目标检测

你可能感兴趣的:(医学图像,医学图像)