图像分割实战-系列教程11:U2NET显著性检测实战3

图像分割实战-系列教程 总目录

有任何问题欢迎在下面留言
本篇文章的代码运行界面均在Pycharm中进行
本篇文章配套的代码资源已经上传

U2NET显著性检测实战1
U2NET显著性检测实战2
U2NET显著性检测实战3

6、上采样操作与REBNCONV

def _upsample_like(src,tar):

    src = F.upsample(src,size=tar.shape[2:],mode='bilinear')

    return src

使用双线性插值进行上采样操作

class REBNCONV(nn.Module):
    def __init__(self,in_ch=3,out_ch=3,dirate=1):
        super(REBNCONV,self).__init__()
        self.conv_s1 = nn.Conv2d(in_ch,out_ch,3,padding=1*dirate,dilation=1*dirate)
        self.bn_s1 = nn.BatchNorm2d(out_ch)
        self.relu_s1 = nn.ReLU(inplace=True)
    def forward(self,x):
        hx = x
        xout = self.relu_s1(self.bn_s1(self.conv_s1(hx)))
        return xout

定义二维卷积、二维池化、Relu,然后进行对应的前向传播

7、各个残差Unet比较

在 U²-Net 中,RSU7, RSU6, RSU5, RSU4, 和 RSU4F 是用于构造网络不同层级的模块。它们共同构成了 U²-Net 的多层次特征提取体系

  1. RSU7 (Residual U-Block 7):

    • RSU7 是最深层的模块,具有最大的感受野,用于网络的最初阶段,用于从输入图像中提取基础和全局特征。在 U2NET 架构中,RSU7 作为第一个阶段使用。
  2. RSU6, RSU5, RSU4:

    • 这些模块是 U²-Net 架构中的中间层。RSU6, RSU5, RSU4 的主要区别在于它们的深度和感受野的大小。每个模块都比前一个模块浅一点,感受野也稍小。这些层用于提取越来越具体的特征,随着网络的深入,这些特征越来越侧重于局部细节。
  3. RSU4F (Residual U-Block 4-Full):

    • RSU4F 是一种特殊的 RSU 模块,它不使用最大池化层来减少特征图的尺寸,而是使用不同膨胀率的卷积来增大感受野(即空洞卷积),RSU4F 用于网络的深层,用于捕捉更细粒度的特征。

在 U²-Net 的结构中,这些 RSU 模块按照从 RSU7RSU4F 的顺序排列。

在编码器阶段,随着层级的增加,模块逐渐变得更浅,专注于更细节的特征提取。

在解码器阶段,这些模块的输出与对应编码器阶段的输出进行融合,通过上采样逐步恢复图像的空间维度,同时保持了特征的丰富性。

总结来说,RSU7RSU4F 的不同主要在于它们的深度(层数)和膨胀率,这影响了它们的感受野大小和特征提取的具体性。

8、损失函数

在前面的网络架构中,我们可以看到一共有d0到d6共7个输出,每一步都有一个对应的输出,每一步都可以计算损失,损失函数:

d0, d1, d2, d3, d4, d5, d6 = net(inputs_v)
loss2, loss = muti_bce_loss_fusion(d0, d1, d2, d3, d4, d5, d6, labels_v)
def muti_bce_loss_fusion(d0, d1, d2, d3, d4, d5, d6, labels_v):

	loss0 = bce_loss(d0,labels_v)
	loss1 = bce_loss(d1,labels_v)
	loss2 = bce_loss(d2,labels_v)
	loss3 = bce_loss(d3,labels_v)
	loss4 = bce_loss(d4,labels_v)
	loss5 = bce_loss(d5,labels_v)
	loss6 = bce_loss(d6,labels_v)

	loss = loss0 + loss1 + loss2 + loss3 + loss4 + loss5 + loss6
	print("l0: %3f, l1: %3f, l2: %3f, l3: %3f, l4: %3f, l5: %3f, l6: %3f\n"%(loss0.item(),loss1.item(),loss2.item(),loss3.item(),loss4.item(),loss5.item(),loss6.item()))

	return loss0, loss
  1. d0到d6是U2Net的每一步输出,labels_v是标签 这里的标签都是完全相同的数据
  2. 标签即原始输入图像对应完全一样大小的灰度数据,里面只区分了需要分割的前景和背 此外值得一提的是PyTorch框架的
  3. nn.BCELoss损失函数具有非常好的泛化能力,不管你是像素级别的矩阵,还是单个值,都是使用完全一样的2分类
  4. 对多步进行监督的训练,就叫做多监督训练:能够提高模型对不同尺寸的学习、多步输出有助于改善网络中的梯度流动、同类型和复杂度的数据时更加灵活和适应性强、有助于捕捉从低级到高级的特征

U2NET显著性检测实战1
U2NET显著性检测实战2
U2NET显著性检测实战3

你可能感兴趣的:(图像分割实战,计算机视觉,人工智能,语义分割,图像分割,unet)