最强Zero-Shot视觉应用:Grounding DINO+Segment Anything+Stable Diffusion

借着Meta发布的Segment Anything视觉大模型,跟朋友们做了一个最强Zero-Shot视觉应用:最强的Zero-Shot检测器,最强的Zero-Shot分割器,最强的Zero-Shot生成器,三合一模型简称为Grounded-SAM。

代码地址如下:

https://github.com/IDEA-Research/Grounded-Segment-Anything

三种类型的模型可以分开使用,也可以组合式使用,组建出强大的视觉工作流模型,整个工作流拥有了检测一切,分割一切,生成一切的能力。

Grounded SAM

最强Zero-Shot视觉应用:Grounding DINO+Segment Anything+Stable Diffusion_第1张图片

最强Zero-Shot视觉应用:Grounding DINO+Segment Anything+Stable Diffusion_第2张图片

借助Grounding DINO强大的Zero-Shot检测能力,Grounded SAM可以通过文本描述就可以找到图片中的任意物体,然后通过Segment Anything强大的分割能力,细粒度的分割出mask,最后还可以利用Stable Diffusion对分割出来的区域做可控的文图生成。

Grounding DINO例子

最强Zero-Shot视觉应用:Grounding DINO+Segment Anything+Stable Diffusion_第3张图片

Grounded-Segment-Anything例子

最强Zero-Shot视觉应用:Grounding DINO+Segment Anything+Stable Diffusion_第4张图片

Gradio APP

最强Zero-Shot视觉应用:Grounding DINO+Segment Anything+Stable Diffusion_第5张图片

同时我们还提供了可视化网页,可以更方便的尝试各种例子。

更多例子

最强Zero-Shot视觉应用:Grounding DINO+Segment Anything+Stable Diffusion_第6张图片

Grounded-SAM未来的想象空间:

比如可控的自动的生成图像,构建新的数据集。

比如提供更强的基础模型与分割预训练。

比如引入GPT-4,进一步激发视觉大模型的潜力。

......

https://github.com/IDEA-Research/Grounded-Segment-Anything

IDEA-Research/GroundingDINO

facebookresearch/segment-anything

END

ce225e737ceb5c7f28790dd5264ffa52.png

欢迎加入知识星球带你解读优秀前沿论文!

最强Zero-Shot视觉应用:Grounding DINO+Segment Anything+Stable Diffusion_第7张图片

分享

收藏

点赞

在看

最强Zero-Shot视觉应用:Grounding DINO+Segment Anything+Stable Diffusion_第8张图片

你可能感兴趣的:(stable,diffusion)