【计算机视觉 | 图像分割】arxiv 计算机视觉关于图像分割的学术速递（9 月 7 日论文合集）

一、分割|语义相关(4篇)

1.1 Exploring Semantic Consistency in Unpaired Image Translation to Generate Data for Surgical Applications

探索不成对图像翻译中的语义一致性以生成外科应用数据

https://arxiv.org/abs/2309.03048

在手术计算机视觉应用中，由于数据隐私问题和对专家注释的需要，获得标记的训练数据是具有挑战性的。已经探索了不成对的图像到图像转换技术，以通过将合成图像转换到现实域来自动生成大的注释数据集。然而，保持输入图像和翻译图像之间的结构和语义一致性提出了重大的挑战，主要是当有一个分布不匹配的语义特征的域。本研究以经验调查未配对的图像翻译方法，用于在外科应用中生成合适的数据，明确侧重于语义一致性。我们在两个具有挑战性的手术数据集和下游语义分割任务上广泛评估了各种最先进的图像翻译模型。我们发现，一个简单的组合结构相似性损失和对比学习产生最有前途的结果。定量地，我们表明，用这种方法生成的数据产生更高的语义一致性，可以更有效地用作训练数据。

1.2 M3D-NCA: Robust 3D Segmentation with Built-in Quality Control

M3D-NCA：内置质量控制的稳健3D分割

https://arxiv.org/abs/2309.02954

医学图像分割严重依赖于大规模深度学习模型，例如基于UNet的架构。然而，这种模型的现实世界效用受到其高计算要求的限制，这使得它们不切实际的资源受限的环境，如初级保健设施和冲突地区。此外，成像域中的偏移可能使这些模型无效，并且如果这样的错误未被检测到，甚至危及患者的安全。为了解决这些挑战，我们提出了M3 D-NCA，一种新的方法，利用神经细胞自动机（NCA）分割3D医学图像使用n级补丁。此外，我们利用M3 D-NCA的方差来开发一种新的质量度量，可以自动检测NCA的分割过程中的错误。M3 D-NCA在海马体和前列腺分割中比两个更大的UNet模型高出2%Dice，并且可以在Raspberry Pi 4 Model B（2GB RAM）上运行。这突出了M3 D-NCA作为资源受限环境中医学图像分割的有效替代方案的潜力。

1.3 Diffusion Model is Secretly a Training-free Open Vocabulary Semantic Segmenter

扩散模型是一种无需训练的开放词汇语义切分器

https://arxiv.org/abs/2309.02773

最近的研究探索了利用预训练的文本图像判别模型，如CLIP，来解决与开放词汇语义分割相关的挑战。然而，值得注意的是，这些模型采用的基于对比学习的对齐过程可能会无意中导致关键的定位信息和对象完整性的丢失，这对于实现准确的语义分割至关重要。最近，已经出现了一个新兴的兴趣，在扩展应用程序的扩散模型超出文本到图像生成任务，特别是在语义分割领域。这些方法利用扩散模型来生成注释数据或提取特征以促进语义分割。这通常涉及通过生成相当数量的合成数据或并入额外的掩模注释来训练分割模型。为此，我们发现的潜力的生成文本到图像的条件扩散模型作为高效的开放词汇语义分割，并介绍了一种新的训练免费的方法命名为DiffSegmenter。具体地，通过将输入图像和候选类别馈送到现成的预训练条件潜在扩散模型中，由去噪U-Net产生的交叉注意图直接用作分割分数，其通过后续的自注意图进一步细化和完成。此外，我们精心设计了有效的文本提示和类别过滤机制，以进一步提高分割结果。在三个基准数据集上的大量实验表明，所提出的DiffSegmenter实现了令人印象深刻的开放词汇语义分割。

1.4 MLN-net: A multi-source medical image segmentation method for clustered microcalcifications using multiple layer normalization

MLN-Net：一种基于多层归一化的聚类微钙化多源医学图像分割方法

https://arxiv.org/abs/2309.02742

乳腺X线摄影中簇状微钙化的准确分割对于乳腺癌的诊断和治疗至关重要。尽管表现出专家级的准确性，但医学图像分割中的最近深度学习进步对实际应用的贡献不足，这是由于患者姿势、个体腺体密度和乳房X线摄影成像模态等的差异导致的域偏移。在本文中，一个新的框架命名为MLN-网络，它可以准确地分割多源图像，仅使用单一的源图像，提出了聚类微钙化分割。首先，我们提出了一个源域图像增强方法来生成多源图像，从而提高泛化能力。采用多层归一化（LN）结构构造分割网络，可以有效地分割不同区域的微钙化簇。此外，设计了一种分支选择策略，用于度量源域数据和目标域数据的相似性。为了验证所提出的MLN-net，进行了广泛的分析，包括烧蚀实验，比较12个基线方法。大量的实验验证了MLN-net在分割不同领域的聚类微钙化的有效性，其分割精度超过了现有的方法。代码将在https://github.com/yezanting/MLN-NET-VERSON1上提供。