基于全局和局部对比自监督学习的高分辨率遥感图像语义分割day3 - 网络结构

---

前言

• 想要学习一个网络，最重要的就是网络结构和损失函数，一个讲了网络是怎么学，一个讲了网络将会学成什么样（个人理解）。本文将会对网络进行讲解。
  此网络训练主要分为两部分，先是用自监督网络对特征提取部分进行优化，然后再用传统的语义分割进行细调。

自监督学习部分

自监督网络和传统网络不一样，他是不需要标签的。使用对比损失进行学习，本网络将对比学习也分成了两部分，一部分是对全局特征进行对比，另一部分是对局部特征进行对比。最后得出两个损失再加权求和，这么做可以提供网络对小目标的学习能力。
对比损失：对比损失期望正样本对相似，负样本对不相似。具体来说，一个小批次的N个样本增加为2N个样本。从同一样本中增加的一对样本形成正对，其他2（N−1） 样本为阴性样本。具体流程如图所示：

将一张256x256的图片分割成两张小的224x224图片，这两张图片作为正例，而同一批次的其它图片全部作为负例，
Rois参数是索引标签，用来记录局部特征图的位置。两张224x224图片再经过缩放翻转后，图片内的对象会发生位置变化，所以要主动引入的索引标签，以确保两个224x224图片的局部特征图的位置可以在原始图像中相互对应。

语义分割细调部分

• 语义分割部分比较简单了，网络是经典的语义分割U型结构。先经过一个主干网络进行特征提取，然后对特征进行编码和解码，最后经过上采样后进行输出。具体流程如图所示：
  

---

总结

如果有问题可以再评论区进行留言，创作不易，如果帮助到了您，欢迎点赞收藏加关注。