论文阅读——Semantic-SAM

Semantic-SAM可以做什么:

整合了七个数据集:

一般的分割数据集,目标级别分割数据集:MSCOCO, Objects365, ADE20k

部分分割数据集:PASCAL Part, PACO, PartImagenet, and SA-1B

The datasets are SA-1B, COCO panoptic, ADE20k panoptic, PASCAL part, PACO, PartImageNet, and Objects365

COCO 和 ADE20k 有目标级别mask和类别标签的全景分割数据集;PASCAL part, PACO, and PartImageNet 部分分割的masks和类别标签. SA-1B 包括 6-level masks without labels; Objects365 有大量目标实例类别标签。

论文阅读——Semantic-SAM_第1张图片

Semantic-SAM

支持point and box

论文阅读——Semantic-SAM_第2张图片

把输入的点和坐标统一成形式:(x, y)-->(x, y, w, h),w, h非常小。

b = (x, y, w, h)

一个点击或者box,编码为一个位置向量和K(K=6)个内容向量(查询向量)Q = (q1, · · · , qK)。

论文阅读——Semantic-SAM_第3张图片

论文阅读——Semantic-SAM_第4张图片

输入坐标、图片特征、内容查询向量,得到每个查询的输出查询特征。

训练:

目标级别分割和部分分割解耦:

论文阅读——Semantic-SAM_第5张图片

不同数据集对应的损失项:论文阅读——Semantic-SAM_第6张图片

训练时和GT匹配问题;

SAM是多对一的,即三个SAM预测masks只对应一个GT mask。

对同一点击位置的不同GT masks聚类,然后使用Hungarian algorithm多对多匹配。

相似性矩阵和分数根据不同分割数据成分的可用性而变化。

论文阅读——Semantic-SAM_第7张图片

结果:

论文阅读——Semantic-SAM_第8张图片

论文阅读——Semantic-SAM_第9张图片

论文阅读——Semantic-SAM_第10张图片

论文阅读——Semantic-SAM_第11张图片

论文阅读——Semantic-SAM_第12张图片

你可能感兴趣的:(论文,人工智能)