毕业论文-基于深度学习的医学图像分割方法

目录

前言

课题背景和意义

实现技术思路

一、医学图像分割关键技术 

二、基于注意力机制和残差网络的视网膜眼底图像分割方法

三、基于多任务对抗学习的病理图像细胞核分割方法

实现效果图样例

最后

---

前言

    大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。

对毕设有任何疑问都可以问学长哦!

选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277

大家好,这里是海浪学长毕设专题,本次分享的课题是

毕业论文-基于深度学习的医学图像分割方法

课题背景和意义

医学图像是反映人体内部结构的图像，是现代医疗诊断的主要依据之一。医学 图像处理任务主要包括图像检测、图像分割、图像配准和图像融合四个方面。目前 医学图像分割处理的对象主要是各种人体器官、组织和细胞的图像。医学图像分割 的任务是根据区域间的相似或不同，把图像分割成若干区域。近年来，研究人员不 断探索和提出各种医学图像分割方法和技术，相继提出了很多方法，包括基于阈值 的分割方法，基于区域的分割方法，基于边缘检测的分割方法等。基于决策树、随 机森林、聚类算法等传统机器学习方法的模型，则在图像分割方面取得了更好的效 果。由于基于传统的机器学习的方法主要依赖于特征工程，提取的特征的表达能力 有限，因此性能比较有限。近年来，深度学习方法，特别是基于卷积神经网络的相 关方法，具有良好的特征识别能力，在医学图像分割等领域中的性能普遍优于传统 的机器学习方法。基于深度学习的医学图像分割方法因此得到越来越广泛的关注和应用。

实现技术思路

一、医学图像分割关键技术 

医学图像成像技术概述

视网膜是可以通过眼底图像直接观察到毛细血管和神经的人体组织，通过观察 视网膜不仅可以检查眼科疾病，还可以辅助诊断糖尿病并发症、青光眼和高血压等 多种心脑血管相关疾病。如图所示，视网膜眼底图像是使用专用眼底彩色摄像 机等通过成像光路拍摄获得。

常见医学图像分割任务

医学图像分割任务针对的是各种格式的医学数据集，包括常规的 2D 的 RGB 医 学图像和 3D 的影像数据等，2D 图像常见的有眼底视网膜图像、病理切片 H&E 染 色图像等，而 3D 数据主要包括计算机断层扫描图像(CT)和核磁共振图像（MRI）等。

对于病理图像而言，一张病理切片可 能达到几万个像素的大小，这种情况下直接将原图送入深度网络中训练显然是不现 实的。此外，直接对图片的大小进行调整图展示了某个眼底图像和其对应的 Label 进行随机选取中心点划分 Patch 的示意图。

医学图像分割相关方法

1、注意力机制

注意力机制借鉴了人类的视觉机制。当人眼观察某个物体的时候，会首先从全 局的角度对物体进行把握，而后会将注意力的重心转移到那些相对重要的区域中去， 忽略那些背景或者是相对次要的区域。

2、残差网络

在训练深度网络的时候，通常网络的性能不会随着层数的增加而无限制的增加， 网络的最佳性能可能在中间的某一层达到，而之后的层可能存在着信息冗余。另一方面，深度网络的收敛问题和稳定性对于模型的训练也是一个不小的挑战，当网络 层数过多的时候，当更新相对较浅层的模型的参数的时候，可能会出现梯度消失和 梯度弥散的现象。

残差网络 ResNet 的基本组成单元是残差块，如图所示为残差块的基本的结构：

残差模块的最终的期望输出( )可以表示为： 

3、多任务学习

多任务学习（Multi-Task Learning）的概念最早在 1993 年被提出。多任务学 习与常规单任务模型的主要区别在于，其仅使用一个模型就可以处理多个任务。多 任务学习作为一种建模方式，既包含模型架构设计方面，也包含模型训练过程方面 的建模。

4、生成对抗网络

生成对抗网络最初在 2014 年由 Goodfellow 等人提出，其主要的两个组成元件 是生成器和判别器。生成器的主要任务是负责根据输入的带有随机噪声的数据来生 成尽可能逼真的数据和结果，而判别器的任务就是不断的调整自身的参数，正确的 识别出这些生成器生成的虚假数据以及原始的真实的数据的差异。GAN 训练过程的目标损失函数可以表示为如下：

 在生成对抗网络(GAN)中，对抗训练是增强神经网络鲁棒性的重要方式。在对 抗训练的过程中，样本数据（如图像和语音信息等）会被混合一些微小的扰动，然后会迫使神经网络去适应这种改变，从而增加生成器模型的鲁棒性。从生成器的角 度看，其训练的损失函数可以表示为：

5、Transformer 模型

Transformer 最早在自然语言处理研究中被提出，ViT 模型[108]第一次将其运用在 计算机视觉的 ImageNet 图像分类任务中，取得了前所未有的成功。Transformer 将图 像划分为固定大小的图像块（Patch），使用 Linear projection 将 Patch flatten 投影到 指定维度，得到 Tokens 序列，将序列作为特征的输入，实现了全新的分割模式。

医学图像分割的评价指标

在医学图像分割领域，比较常用的性能评价指标有准确率（Accuracy, 简称 ACC）、特异性（Specificity, 简称 SPE）、灵敏度（Sensitivity, 简称 SEN）、Dice 系数、精度(Precision)、召回率（Recall）和 F1-score 等。上述指标的计算公式可以 表示为如下：

二、基于注意力机制和残差网络的视网膜眼底图像分割方法

基于 Attention-inception 和残差网络的视网膜眼底图像分割

与其它许多网络相比，U-Net 模型简单，但参数少，模型网络深度较浅。因此， 容易出现过拟合。为了提高网络性能，以 U-Net 模型为基础，提出了一种新的 基于 SE 的注意力机制和 U-Net 网络模型 Advanced Residual-scSE Attention U-Net（简称 AR-SA U-Net）。

AR-SA U-Net 模型结构

 针对前面部分所分析的卷积神经网络和基于经典 U-Net 网络的不足，研究提出 了一种新型 AR-SA U-Net 模型，实现对视网膜眼底图像血管分割的端到端的训练和 测试，模型结构如图所示。

 在所提出的 AR-SA U-Net 网络的编码阶段，使用步长为 2 的 3×3 卷积核替代传 统的最大池化，来作为每个编码阶段的下采样方式。如公式所示，e_in(i)代 表第 i 个编码器路径输入，e_out(i)代表第 i-1 个编码器路径输出。

 图为解码阶段的特征融合过程。在解码路径的每个阶段后，得到了不同分 辨率的侧输出，其中包含不同尺度的信息，采用特征融合策略，来充分利用这些不 同尺度的特征来提高分割质量。通过在 scSE 模块后加入 1×1 卷积，并使用相应次数 的上采样操作，使解码器路径特征恢复到原始图像分辨率，然后将得到的多级特征 在通道维度上进行连接（Concatenate）。

整个过程可以用公式来描述。

 其中 n 为网络模型的高度，de_out(i)为当前解码器路径结果，conv 为 1×1 的卷积， up 为带尺度因子2n-i-1 的上采样操作， 为第 i 个多尺度特征侧输出。通过上式所描述的过程进行连接操作，将这些多尺度特征关联起来，实现特征融合，得到最 终的融合结果 f。最后，使用 3×3 卷积输出最终的分割结果。图不同的基于 U-Net 的方法的性能和计算量的比较

空洞卷积残差模块

AR-SA U-Net 模型从残差网络中引入残差模块，使得模型的精度和偏差不会随 着训练轮数和迭代次数的增加而出现较大的波动。残差模块在眼底图像的模型训练 中具有重要的意义。带空洞卷积的残差块可以用公式描述：

基于 scSE 注意力机制和 Inception 的多尺度血管特征提取方法

Inception 模块用于提高 AR-SA U-Net 模型的性能，减少参数量，同时增加 网络的深度和宽度。Inception 最早在 GoogleNet 中提出，相比于 resnet 等模型增加 网络深度来抽象特征的深层关联和依赖关系，Inception 则是从另外一个视角出发， 即增加网络的宽度，获取多个视角、多尺度的特征。

转置卷积和双线性插值动态加权的上采样方法

在编解码结构的网络的解码部分，需要借助上采样操作来将编码部分的特征图 的分辨率逐步恢复到原始输入图像的大小，而最常用的上采样方式是反卷积和双线 性插值运算。

根据上采样过程中像素的位置，动态加权使用转置卷积和 双线性插值的方法。具体的方法是，像素越靠近图像边缘，让双线性插值的权值越 大，像素越靠近图像中心，则转置卷积的权值越大，通过对二者的平衡来减少细节 损失和计算开销。具体的权重调整的方程如公式所示：

 基于 AR-SA U-Net 模型的眼底图像分割框架

利用所提出的 AR-SA U-Net 网络模型，进行图像分割的框架及数据处理流程图如图所示。首先对原始彩色眼底图像进行预处理，包括对眼底图像进行灰度化、 对比度受限直方图均衡化、Gamma 校正等操作，得到增强之后的图片，增加眼底图 像中的血管和背景之间的对比度差异。

三、基于多任务对抗学习的病理图像细胞核分割方法

基于多任务对抗学习及双重注意力和循环卷积的病理图像细胞核分割

本文提出的模型，是一种端到端的基于深度学习的细胞核分割方法，其实现病 理图像细胞核分割的流程如图所示。在对得到的 Patch 及其标签进行数据增强后， 将 Patch 输入到所提出的 RCSAU-Net 网络中进行特征编码和解码，输出细胞核轮廓 的概率图。

 基于双重注意力和循环卷积的细胞核轮廓分割

基于循环卷积与通道和空间注意力的 U-Net 网络模型 RCSAU-Net （Recurrent Convolution-Channel and Spatial Attention U-Net）如图所示。在编码 和解码阶段，在每个残差模块之后采用基于空间和通道映射表（SC-MT）的注意力机制。从全局的角度来看，特征聚合可以增强细胞核特征的表达能力，以较小的噪 声和染色差异降低细胞核分割中误检和漏检的可能性。

假设 RCSAU-Net 有 n 层，则采用新的跳跃连 接融合方法将 n-k 层的输入与第 k 层的输出进行融合，所得到的作为新的输入的结 果，如公式所示

 基于空间和通道映射表的双重注意力机制

注意力机制的引入对多器官细胞核的分割具有重要意义。通过注意力机制调整 特征权重，不仅可以增强模型的细胞核检测能力，减少细胞核分割过程中遗漏和错 误的可能性，而且可以减少背景信息对分割结果的干扰。SE（Squeeze and Excitation） 方法是图像分割领域常用的一种通道注意力机制。

具体而言，假设第 M 个卷积层（包括 BN 和 ReLU 层等）后获得的特征图为 F， 然后通过深度可分离卷积，得到 , ∈ ××，而通过 1×1 卷积操作，得到, ∈ ××，其中 H 和 W 分别代表特征图的高度和宽度， C 是通道的数量。然后 将张量变形为一个二维张量，并且 ∈ × , = × 。通过公式(4.2)定义。

提升细胞核轮廓连续性的残差-循环卷积单元

一般来说，细胞核的轮廓是连续的，是一条封闭的曲线。然而，由于病理图像 的背景边界与细胞细胞核边界的区别不明显和对比度较低，部分轮廓很难被检测到。 为了克服使用卷积方法容易出现分割细胞核轮廓断裂的问题，研究借鉴了循环卷积 网络的思想，引入了残差-循环卷积单元，其结构如图所示。

基于 RCSAU-Net 和生成对抗学习的细胞核实体分割

由于不同器官的细胞细胞核形态差异较大，仅使用所提出的 RCSAU-Net 模型不 能很好地获得细胞核的多样化形态信息。考虑到 GAN 模型能够很好地适应不同染 色方法的差异，并且能够从多中心数据中捕捉到更有效的医学数据特征，且与其它 模型相比，GAN 模型具有更好的数据生成能力。因此，研究中提出一种采用对抗性 训练和博弈的机制来促进分割网络的收敛，使得模型尽可能地识别细胞核的真实分布，增强模型在形状、大小、噪声等因素影响下的鲁棒性。细胞核实体分割的框架如图所示。

基于边界权值自适应调整和投票机制的后处理方法

在分割的特征融合阶段，保留的模型参数被用于对整个图像的细胞核分割进行 测试，过程与图相同。与训练过程不同的是，在融合阶段，需要采用多种策略 对所有的 Patch 进行合并，得到图像级别的分割结果。

为了提高 Patch 边界预测的可 靠性和置信度，研究中提出了一种基于投票机制的后处理方法，将所有包含待预测 目标像素的 Patch 合并，并将其边界权值（Border Weight, BW）作为投票权值。每 个像素点的最终的预测概率值的获得，如公式所示。

边界权值的引入，是考虑到 U-Net 模型中的卷积块只具有局部特征提取能力， 而由于需要知道单个像素的上下文信息才能进行分类，但是其边界附近的区域又缺 乏有效的上下文信息，导致 U-Net 模型在最终预测边界像素时的可靠性不够。边界权值的具体定义如公式所示。

实现效果图样例

医学图像分割方法：

我是海浪学长,创作不易,欢迎点赞、关注、收藏、留言。

毕设帮助，疑难解答，欢迎打扰！

最后