病灶分割标注通常需要标注人员大量的专业知识和熟练度,耗费大量时间和成本,而且会因标注人员的差异性产生较大偏差。
Manual annotation of lesions can be challenging, time consuming and subject to observer bias.
Distance Map
在一个灰度图像 G ( x ) G(x) G(x)中,具有点标注集合 Φ \Phi Φ,那么对于坐标点 x x x,它的Distance Map为:
D M ( x ) = m i n ( Λ ( γ ) , γ ∈ Ψ ( x , Φ ) ) DM(x) = min(\Lambda(\gamma), \gamma\in\Psi(x,\Phi)) DM(x)=min(Λ(γ),γ∈Ψ(x,Φ))
其中 Ψ ( x , Φ ) \Psi(x,\Phi) Ψ(x,Φ)是标注点集到 x x x所有路径 γ \gamma γ的集合,而 Λ ( γ ) \Lambda(\gamma) Λ(γ)则代表路径 γ \gamma γ的长度:
Λ ( γ ) = ∑ i = 1 n − 1 d ( x i , x i + 1 ) \Lambda(\gamma) = \sum^{n-1}_{i=1} d(x_i, x_{i+1}) Λ(γ)=i=1∑n−1d(xi,xi+1)
本文定义了三种路径距离度量方式,即三种Distance Map的计算方式。
欧几里得距离 Euclidean Distance
d E ( x i , x i + 1 ) = { 1 , x i + 1 ∈ N 4 ( x i ) 2 , x i + 1 ∈ N 8 ( x i ) − N 4 ( x i ) d_E(x_i, x_{i+1}) =\begin{cases}1, & x_{i+1} \in N_4(x_i) \\ \sqrt{2}, & x_{i+1} \in N_8(x_i) - N_4(x_i)\end{cases} dE(xi,xi+1)={1,2,xi+1∈N4(xi)xi+1∈N8(xi)−N4(xi)
密度距离 Intensity Distance
d I ( x i , x x + 1 ) = G ( x i ) − G ( x i + 1 ) d_I(x_i, x_{x+1}) = G(x_i) - G(x_{i+1}) dI(xi,xx+1)=G(xi)−G(xi+1)
测地距离 Geodesic Distance
d G ( x i , x i + 1 ) = d I ( x i , x x + 1 ) 2 + d E ( x i , x i + 1 ) 2 d_G(x_i,x_{i+1}) = \sqrt{d_I(x_i,x_{x+1})^2+d_E(x_i,x_{i+1})^2} dG(xi,xi+1)=dI(xi,xx+1)2+dE(xi,xi+1)2
三种路径度量方式获得Distance Map分别称为EDM,IDM和GDM。显然,EDM是 x x x到最近的标注点的距离,IDM是 x x x到强度差最小的标注点的强度差。最后对Distance Map做归一化。
M p ( x ) = ( 1 − D M ( x ) m a x ( D M ( x ) ) ) p M_p(x) = (1 - \frac{DM(x)}{max(DM(x))})^p Mp(x)=(1−max(DM(x))DM(x))p
Network
使用U-net,MSE Loss function:
M S E = 1 N ∑ x ( M p ^ ( x ) − M p ( x ) ) 2 MSE = \frac{1}{N} \sum_x (\widehat{M_p}(x)-M_p(x))^2 MSE=N1x∑(Mp (x)−Mp(x))2
检测结果如下:
实际上可以看出效果不是很好,但是这种思路有可改进的地方。最简单的思路是two-phase,heatmap一定阈值对应的像素做一个二分类器。
细胞核分割标注只能交给病理学家,因而耗时且昂贵。
损失函数使用binary cross-entropy。FPN with ResNet-50。
边缘网络 g g g
在CNN中,较浅的层提取低微信息,例如边缘与斑点。使用浅层的神经网络提取边缘,并将其与分割网络的Sober滤波结果计算loss。Sober算子是计算机图形中较为常用的边缘提取算子。4-layer CNN。
L ( I , P , f , g ) = L c e ( f ( I ) , P ) + γ ∣ s ( f ( I ) − g ( I ) ) ∣ \mathcal{L}(I,P,f,g) = \mathcal{L}_{ce}(f(I), P) + \gamma|s(f(I)-g(I))| L(I,P,f,g)=Lce(f(I),P)+γ∣s(f(I)−g(I))∣
注意力模型 h h h
注意力模型为一个较深度的神经网络以指导边缘网络寻找边缘。FPN with ResNet-18。
L ( I , P , f , g , h ) = L c e ( f ( I ) , P ) + γ ∣ s ( f ( I ) − g ( I ) ⊗ h ( I ) ) ∣ \mathcal{L}(I,P,f,g, h) = \mathcal{L}_{ce}(f(I), P) + \gamma|s(f(I)-g(I) \otimes h(I))| L(I,P,f,g,h)=Lce(f(I),P)+γ∣s(f(I)−g(I)⊗h(I))∣