注:文章为阅读Accurate segmentation of overlapping cells in cervical cytology with deep convolutional neural networks相关注解,该文章发表于NEUROCOMPUTING
目前主要的重叠细胞分割方法主要采用医学图像处理或者计算机视觉常用的传统技术来进行细胞核和细胞质的分割
方法主要有:
存在缺陷:
该文章中提出了一种基于深度学习模型和计算机图像分析技术的宫颈细胞学中重叠细胞的分割方法。如图一所示,其方法是通过两个阶段的框架进行小分割,其中细胞检测阶段的感兴趣区域作为后续细胞质分割阶段的训练样本。
其主要步骤为
该论文采用的主流的DeepLab V2模型来分割重叠细胞。DeepLab模型已经被广泛应用于语义图像分割任务中,并在大量的数据集上进行了测试。同时还设计损失函数以此来调整模型,以便能够更好的处理图像,此次论文的贡献主要有:
本文基于深度学习的分割方法由细胞检测、细胞质分割和边界细化三个模块组成。该过程开发了一种细胞检测方法,通过TernausNet模型和基于双窗口的细胞定位方法来提取单个细胞。改进的DeepLab V2模型从图像背景中分割细胞质,之后使用一种后处理方法来细化细胞的外部轮廓。
首先将一种基于术语网络的分类方法应用于整个图像。每个像素都被分配给三个标签(细胞核、细胞质和背景)中的一个。该步骤能够初步找到候选核并排除背景和非核物质的初步步骤。TernausNet基于经典的U-Net架构构建,并使用ImageNet的大数据集上预训练VGG11编码器的权重进行初始化。与VGG11不同的是TernausNet用512个通道的单一卷积层取代了全连接层,作为网络中的中心部分。该模型将编码器和解码器分离,从而减少了训练时间,防止了过拟合。分类后,收集所有标记的核像素作为潜在核,用于后续的选择过程,间下图(b)。
为了减少基于TernausNet分类后假阳性核像素,文章通过一个Adaboost分类器来过滤出可能错误的候选核。以此计算了两种类型的纹理特征,包括灰度大小区域矩阵((GLSZM)和定向梯度直方图(HoG)。这些特征被用来训练成分类器。
GlSZM描述符是一种高级的统计矩阵。用于纹理表征。纹理越均匀(大的平坦区域和接近的灰色水平),矩阵就越宽和平坦。GLSZM通过对图像分布的二元条件概率密度函数估计提供了一种统计表示,同时对图像噪声[27]具有良好的鲁棒性。基于GLSZM矩阵,共计算了13个图像属性。它们是小/大区域强调、灰度/区域大小不均匀性、区域百分比、低/高灰度、小区域低/高灰度强调、大区域低/高灰度强调、灰度/区域大小差异。
Hog是捕捉图像的局部纹理属性的一个流行特征。一般来说,梯度图像G是通过在水平和垂直方向上应用梯度滤波器进行卷积得到的。得到的G被分成N个小细胞,且不覆盖。对于每个单元格C,计算一个梯度方向和边云方向的直方图hc。Hog特征是所有这些直方图的连接。
根据所鉴定的细胞核位置,采用双窗发确定细胞区域,如下图(d),所示这些兴趣区域ROI,以此形成训练样本,用于后续的细胞质分割任务。ROI定义为六元组(Nir、Nic、DINi、DrNi、DuNi、DdNi)的矩形窗口。其中i∈{1,2、…,C},C是以核Ni为中心的核总数。Nir和Nic表示图像中核中心的坐标。Dl、Dr、Du和Dd表示Ni核与窗口四边之间的距离。
文章定义了两个初始的平方ROI来标记真实的细胞位置,如图2(a)所示,分别为R1N1和R2N1。两个代表两个初始ROI的矩形窗口分别为(Nir、Nic、D1Ni、D1Ni、D1Ni、D1Ni)和(Nir、Nic、D2Ni、D2Ni、D2Ni、D2Ni),其中D1 > D2。我们设计了一个通过考虑覆盖单元来决定ROI窗口大小的准则。图2(a)给出了一个例子,表明两个细胞核(N1和N2)在一个细胞团内。N2的r1窗口和N1的r2窗口有重叠区域。DlN1等于n1和n2之间水平距离的一半。否则,DlN1等于D1N1。同样的规则也适用于DdN1。所得到的ROI如图2(b).所示这一过程确保了提取的准确的细胞区域,包含密集聚集的细胞之间的重叠区域。
图2(a)给出例子,表明两个细胞核(N1和N2)在一个细胞团内。N2的r1窗口和N1的r2窗口有重叠区域。DlN1等于n1和n2之间水平距离的一半。否则,DlN1等于D1N1。同样的规则也适用于DdN1。所得到的ROI如图2(b).所示这一过程确保了我们提取的准确的细胞区域,包含密集聚集的细胞之间的重叠区域。
由于密集分布的单元格很难进行手工标注,利用合成方法对图像进行放大,训练基于DeepLab V2的分割算法。同时数据合成可以为单个单元边界提供更精确的申述注释,避免了手工注释的潜在错误。该方法使用的那个分离的细胞生成聚类细胞图像。随机选择单个细胞,根据以下两个参数合成不同的细胞质量:
建立了一个DeepLab V2模型来从图像背景中分割细胞质。该模型通过空间金字塔池(ASPP)提供了学习多尺度上下维度特征的能力。其被有效的扩大现场,以合并更大的上下文。同时利用预训练的ResNet-101作为主要的特征提取器。同时在ASPP层添加了一系列不同膨胀率的膨胀均绩取代了模型的最后一个块(Conv5x)。
ResNets是一个深度残差学习的框架,以此来方便训练深度卷积神经网络。其包含有4个不同残次单元数的计算块,这些执行单元执行一系列的卷积操作,可以定义为
y 1 = F ( x 1 ) + x 1 1 y_1=F(x_1)+x_11 y1=F(x1)+x11
其中 x 1 x_1 x1和 y 1 y_1 y1是第l个单位中的输入和输出向量。 F F F表示具有两个或多个卷积层的残差映射。该公式可以通过具有快捷连接的前馈神经网络(跳过一个或多个层)来实现。快捷连接可以简单地使用身份映射实现,这导致一个最优模型具有增加网络深度的精度颗粒。
算法1 细胞合成算法
Inputs: Original images(O), nuclei masks(NM), cellmasks(CM),NUM, and OR
Output: Synthesis image(S)
Extracting the isolated cells SCi,(i ∈ {1, 2, . . ., N}), and obtaining
the background set Bj, (j ∈ {1, 2, . . ., M}) via a random selection
of background pixels
Step 1: Placing NUM cells with specified OR on a512 × 512 canvas
for i = 1 : NUM do
Randomly choosing asingle cell sci from SCi
if i = 1 then
Translatingand rotating sci with a random distance and angle
Randomly generating the other cell positions within a regioncenter on sci
else
Moving sci to (tx,ty) inthe region and then rotating it with
a random angle
Checkingthe validity of the overlapping ratio (or) between
sci andsci−1 based on OR
if or < OR then
Adding sci onthe canvas
end if
end if
end for
Step 2: Computingoverlapping cells’ gray values
for k1 = 1 : NUM do
for k2 = 1 : NUM do
Defining a random value α ∈ {0.8, 0.99}
Defining a cell intersecting region Rkk
Rkknew = max(sck1(Rkk) − sck2(Rkk), α ×
min(sck1(Rkk), sck2(Rkk)))
end for
end for
Creating S by adding background from Bj and Gaussian noise
在运行DeepLab模型后,将完全连接的作为后处理方法,得到最终的细胞质分割。与深度神经网络相结合的全连接CRFs在自然图像和医学图像中都表现出了更好的分割性能。像素级深度学习模型根据图像得到的特征独立地对每个像素进行分类,产生不满意的分割结果。条件随机场将像素之间关系的先验知识合并到划分过程中。全连通的crf采用所给出的能量函数为
E = ∑ p ψ p ( ( x p ) + ∑ p q ( x p , x q ) E=\sum_p \psi_p((x_p)+\sum_{pq} (x_p,x_q) E=p∑ψp((xp)+pq∑(xp,xq)
其中 p p p和 q q q是连接的图像像素, x x x是像素的标签分配。第一项可以使用一元势 ψ p ( x p ) = − l o g ( P ( x p ) ) ψp(xp)=−log(P(xp)) ψp(xp)=−log(P(xp))来实现,其中 P ( x p ) P(xp) P(xp)是由DeepLab模型计算的像素 p p p处的标签分配概率。第二项是成对势,它具有一种形式,允许在使用完全连接的CRF时进行有效的推断,它可以表示为
ψ p q ( x p , x 1 ) = ζ ( x p , X q ) ∑ m = 1 2 ω m k m ( p , q ) \psi_{pq}(x_p,x_1)=\zeta (x_p,X_q)\sum_{m=1}^2 ω_mk_m(p,q) ψpq(xp,x1)=ζ(xp,Xq)m=1∑2ωmkm(p,q)
其中, ζ ( x p , x q ) = 1 ζ(xp,xq)= 1 ζ(xp,xq)=1当 x p = x q x_p = x_q xp=xq时,否则为零,这意味着只有具有不同标签的节点才会被惩罚,而 ω m ( m ∈ 1 , 2 ) ω_m(m∈{1,2}) ωm(m∈1,2)是一个预定义的权重来平衡这两项。 K ( p , q ) K(p,q) K(p,q)在不同的特征空间中使用高斯核来表示:
K 1 ( p , q ) = e x p ( ∣ ∣ P P − P q ∣ ∣ 2 2 σ 2 γ − ∣ ∣ C P − C q ∣ ∣ 2 2 σ 2 β ) K_1(p,q)=exp(\frac{||P_P-P_q||^2}{2\sigma^2\gamma}-\frac{||C_P-C_q||^2}{2\sigma^2\beta}) K1(p,q)=exp(2σ2γ∣∣PP−Pq∣∣2−2σ2β∣∣CP−Cq∣∣2)
K 2 ( p , q ) = e x p ( ∣ ∣ P P − P q ∣ ∣ 2 2 σ 2 γ ) K_2(p,q)=exp(\frac{||P_P-P_q||^2}{2\sigma^2\gamma}) K2(p,q)=exp(2σ2γ∣∣PP−Pq∣∣2)
其中, P p Pp Pp、 P q Pq Pq、 C p Cp Cp和 C q Cq Cq分别为像素 p 、 q p、q p、q的位置和RGB颜色。参数 σ α , σ β , σ γ {σ_α,σ_β,σ_γ } σα,σβ,σγ控制了高斯核的尺度。图3(f)显示了执行CRFs后的分割结果。总之,文章将ResNet结构、无卷积、ASPP和完全连接的CRFs结合到一个分割网络模型中,以实现优越的细胞质分割和沿细胞边界详细的细胞分割图。
为了获得精确的单元轮廓,文章采用了基于距离正则化水平集演化(DRLSE)的分割方法,其中导出了距离正则化项和外部能量项来驱动零水平轮廓向期望位置的运动。能量函数 E ( φ ) E(φ) E(φ)被定义为
E ( φ ) = ω 1 R ( ϕ ) + ω 2 L ( ϕ ) + ω 3 A ( ϕ ) E(φ) = ω_1R(\phi ) + ω_2L (\phi ) + ω_3A(\phi ) E(φ)=ω1R(ϕ)+ω2L(ϕ)+ω3A(ϕ)
其中, ϕ \phi ϕ表示图像域中的水平集函数, ( ω 1 , ω 2 , ω 3 ) (ω_1,ω_2,ω_3) (ω1,ω2,ω3)为平衡这三项的权值。R是正则化项, ζ \zeta ζ是距离项,A是区域项。它们是由
R ( ϕ ) ≜ ∫ ϕ R ( ∇ ϕ ) d x R(\phi )\triangleq \int_\phi R(∇\phi )dx R(ϕ)≜∫ϕR(∇ϕ)dx
KaTeX parse error: No such environment: eqnarray at position 9: \begin{̲e̲q̲n̲a̲r̲r̲a̲y̲}̲ R(\phi ) = …
L ( ϕ ) ≜ ∫ Ω g δ ( ϕ ) ∣ ∇ φ ∣ d x L(\phi)\triangleq \int_\Omega gδ(\phi )| ∇ φ|dx L(ϕ)≜∫Ωgδ(ϕ)∣∇φ∣dx
A ( ϕ ) , ≜ ∫ Ω g H ( ϕ ) d x A(\phi),\triangleq \int_\Omega gH(\phi )dx A(ϕ),≜∫ΩgH(ϕ)dx
其中H为杂维化函数,δ为 H . g = 1 / ( 1 + ∣ 1 + ∇ G σ ∗ I ∣ 2 ) H. g = 1/(1 + |1 +∇G_σ*I|^2) H.g=1/(1+∣1+∇Gσ∗I∣2)的导数, 其中 G σ G_σ Gσ为标准差为σ的高斯核。从DeepLab模型中获得的分割映射作为基于DRLSE的分割方法的初始化。与单个像素作为初始点相比,DRLSE方法需要少量的迭代来将零级集从初始化的边界移动到所需的单元格边界。另外,给 ω 3 ω_3 ω3分配了一个较小的值,以避免边界泄漏问题。最终的细胞边界,如图3(g)所示,通过DCNN和水平集方法进行分割和细化得到。
该文章提出了一种基于DCNN的方法,解决了在数字化细胞学图像中,从细胞群中分割每个单独细胞的问题。设计的框架共分为三个阶段:1、细胞检测 2、细胞质分割 3、边界细化。结合改进的DeepLab模型和计算机图像技术,可以在分割非均匀的细胞质提供优越的性能。实验结果中,DSC、FNRo和TPRp分别为0.93、0.11和0.93。