ICLR 2022 语言模型驱动的语义分割算法:Language-Driven Semantic Segmentation

LANGUAGE-DRIVEN SEMANTIC SEGMENTATION

  • 论文地址:
  • 主要工作:
  • 具体实现:
    • Text encoder:
    • Image encoder:
    • Word-pixel correlation tensor:
    • Spatial regularization:
  • 实验结果:

论文地址:

ICLR 2022 open review: https://openreview.net/forum?id=RriDjddCLN

主要工作:

本文提出了一种新的语言驱动语义图像分割的LSeg模型。LSeg使用一个文本编码器来计算描述性输入标签的嵌入(例如,“树木”或“建筑”),以及一个基于转换器的图像编码器,该编码器计算输入图像的密集嵌入。

该方法在测试时可以实现零镜头的语义分割。

你可能感兴趣的:(算法,深度学习,pytorch,NLP,语义分割)