【领域泛化论文阅读】Semantic-Aware Domain Generalized Segmentation

关于图像白化和色彩变换的基本内容可以参考：

图像标准化、图像白化、色彩变换_S L N的博客-CSDN博客

        论文是针对语义分割的领域泛化模型。论文提出了SAN和SAW两个模块来增强类别之间的分离，类内的聚合。SAN是针对类别级的特征对齐，SAW是对SAN对齐后的特征进行分布式对齐。

图10 模型架构

        现有的域泛化语义分割的方法主要有域随机化和归一化白化两种。域随机化是通过数据增强来提高数据的多样性，但数据增强不能完全覆盖目标域中可能发生的情况。归一化和白化是标准化不同样本的特征分布。

        在SAN中，IN应用于每个批量中的每个样本的每个通道中的每个类别，通过不同的一组γ和β可以把不同类别映射到不同的标准化空间。在一个batch中，不同样本的同一类别的γ和β是相同的，以便将相同类别的特征投射到相同的特征空间，通过式(2.5)可以得到源域的IN，由于目标域是没有Y的，所以文中用了一个SAN架构去近似IN。

        如图11所示，先对源域也就是有label的数据进行训练，目标域的数据可以直接应用训练好的模型。根据label将训练一个可以得到通道数为类别数C的feature map。根据feature map中的C个通道对F进行C次mask，得到F’，F’是比较rough的，所以在F’上作用CFR过程得到F’’，为了进一步达到分类的中心对齐，应用了RN过程，RN是对每个F’’分别进行k-means聚类，选取前t个簇作为类别区域得到Φ，对F’’和Φ根据(2.5)式进行normalization，最后将这些分支加在一起得到Fobj，损失函数如式(2.8)所示。

 图11 SAN架构

        论文中采用了Group Instance Whitening方法消除通道之间的关系,因为IW可能会丢失过多的图像内容信息，所以采用了GIW。不得不说作者的图画得很好，很清晰。首先是group中的选取通道的选取，SAN得到的每一类feature map都有K个channel，根据weight对每个channel对feature map的重要性排序，每个group就由每个feature map权重排序后的相同索引位置的channel组成，对这些group进行GIN，采用的是如式(2.8)所示的损失函数。

 图12 SAW架构

 参考文献：

1. Peng D, Lei Y, Hayat M, et al. Semantic-Aware Domain Generalized Segmentation[J]. arXiv preprint arXiv:2204.00822, 2022.