Segment Anything论文阅读笔记

1. Segment Anything论文基本信息

论文地址	https://arxiv.org/abs/2304.02643
项目地址	https://github.com/facebookresearch/segment-anything
Demo 与数据集SA-1B地址	https://segment-anything.com/
论文作者	Alexander Kirillov1;2;4 Eric Mintun2 Nikhila Ravi1;2 Hanzi Mao2 Chloe Rolland3 Laura Gustafson3Tete Xiao3 Spencer Whitehead Alexander C. Berg Wan-Yen Lo Piotr Dollar ´ 4 Ross Girshick4
作者单位	Meta AI Research, FAIR

2. Segment Anything论文阅读

使用三遍阅读法阅读该论文

2.1 第一遍阅读 Segment Anything

标题：Segment Anything
摘要：我们引入“分割任何事物”项目，一个新的任务、模型和图像分割数据集。在数据收集中循环使用我们的高效模型，我们建立了迄今为止(到目前为止)最大的分割数据集，在1100万张许受可和尊重隐私的图像上拥有超过10亿个掩模。该模型被设计和训练为可提示的，因此它可以将零拍摄转移到新的图像分布和任务。我们评估了它在许多任务中的能力，发现它的零射击性能令人印象深刻-通常可相竞争甚至优于与之前的完全监督结果。我们在https://segment-anything.com上发布了包含1B个掩模和11M张图像的任意图像分割模型(SAM)和相应的数据集(SA-1B)，以促进对计算机视觉基础模型的研究。

介绍：在这项工作中，我们的目标是建立一个图像分割的基础模型。也就是说，我们寻求开发一个提示模型，并使用一个能够实现强大泛化的任务在广泛的数据集上对其进行预训练。解决以下三个图像分割问题：

1. 什么任务支持零概率泛化？
2. 相应的模型结构是怎样的？
3. 哪些数据可以为这项任务和模型提供动力？

总结：“任意分割”项目是将图像分割提升到基础模型时代的一次尝试。
我们的主要贡献是一个新的任务(提示分割)，模型(SAM)和数据集(SA-1B)，使这一飞跃成为可能。

章节标题

摘要

1. 简介
2. 分割任意事物任务
3. 分割任意事物模型
4. 分割任意事物数据引擎
5. 分割任意事物数据集
6. 分割任意事物（RAI）负责任的AI分析
7. 零样本迁移实验
8. 讨论
   参考
   附录
   A. 分割任意事物模型和任务细节
   B. 自动生成掩码细节
   C. RAI其他详细信息
   D. 实验实现细节
   E. 人类学习实验设计
   F. 数据集、标注与模型卡
   G. 标注指导原则

2.2. 第二遍阅读 Segment Anything

仔细看图与图中的说明。

参考：
参考：