Segment Anything（SAM） 计算过程

1. 给定输入图像$I\in R^{3\times H\times W}$。
2. 给定需要的prompts：
   • $M\in R^{1\times H\times W}$，代表图片的前背景信息。
   • $P\in R^{N\times 2}$，其中 $N$ 是点的个数，2 代表坐标。
   • $B\in R^4$，4 代表左上角与右下角点的坐标。
   • $T$ 代表一段文本，暂时还未开放。
3. $I$ 输入到image encoder中提取特征，得到image embeddings：$$f^I=VIT(I),f^I\in R^{c\times h\times w}$$ $c,h,w$ 分别是特征维度与特征的空间高，宽。
4. 得到稠密编码$f^D\in R^{c\times h\times w}$。如果有$M$，将其输入到卷积网络中卷它，如果没有的话，直接复制no_mask_embed向量填充。
5. 得到稀疏编码$f^S\in R^{K\times c}$。
   • 对于点 $P$，进行位置编码，得到$f^P\in R^{N\times c}$ (每个点映射为一个 $c$ 维向量)，并且 $f^P$ 中不同区域（填充部分，前景，背景）要添加对应的编码加以区分。
   • 对于框 $B$，首先重塑为两个点，然后使用与点相同的方式进行点编码，最后两个点加上对应的坐上角与右下角的编码，最终得到 $f^B\in R^{2\times c}$。
   • 最后将 $f^P$ 与 $f^B$ 拼接起来作为稀疏编码，最后的稀疏编码可能只包含点编码或框编码，但实质都是点编码，只是框编码会额外加两个可学习编码加以区分，即三种情况：$$K=N|K=2|K=N+2$$
6. $f^{key}=f^I+f^D,f^{key}\in R^{c\times h\times w}$ 作为mask decoder的 key
7. 加入各种token输入到mask decoder中，作为 query。iou_token: $f^{iou}\in R^{1\times c}$，mask_tokens: $f^{mask}\in R^{4\times c}$ (3个mask+1个背景)。$$\begin{gathered} f^{query}=Cat(f^{iou},f^{mask},f^S),f^{query}\in R^{(5+K)\times c} \\ {f}^{key},f^{query}=MaskDecoder(f^{key},f^{query},f^{pe}) \end{gathered}$$ $f^{pe}$是位置编码
8. 最终得到 $f^{key}\in R^{c\times h\times w}$，$f^{query}\in R^{(5+K)\times c}$。
   • 随后 $f^{key}$ 进行反卷积，还原到图像尺寸 $H$, $W$（实际会进行一些采样）。
   • $f^{query}$ 的第一个表示iou，后三个表示mask，对后三个进行线性映射。
   • 前两步结果求向量积，得到mask预测。$$f^{iou}=f^{query}[:,0,:]$$ $$f^{mask}=f^{query}[:,1:4,:]$$ $$f^{mask}=MLP(f^{mask}),f^{mask}\in R^{3\times c}$$ $$f^{mask}=MatMul(f^{mask},f^{key}),f^{mask}\in R^{3\times H\times W}$$ $$f^{iou}=MLP(f^{iou})，f^{iou}\in R^3$$
9. 最终模型得到 3 个 mask 以及 3 个置信度。