SAM-Track online / offline配置

segment anything model(SAM)是Meta于2023年4月5日发布的分割基础模型。SAM 允许分割任何对象而无需微调。
可以在这里尝试SAM模型的效果。

SAM-Track online / offline配置_第1张图片

分割效果这么好,都忍不住想用SAM来做场景的语义分割,realtime与否先放在一边,能不能用SAM来做语义分割。
一张图片是可以的,但是多张连续图片序列或视频,就会出现颜色频繁变化的问题,因为它的颜色不代表语义,颜色是随机的。SAM只有分块功能,并没有判断类别的功能。

想让连续的图片序列中语义保持连续,就出现了SAM-Track.
github地址

可以实现某一个目标的分割+跟踪,也可以跟踪第一帧里分割出来的anything.

不想在本地配置的同学们可以直接线上运行,
SAMTrack.ipynb
好处是cuda版本这些的都不用在意,直接就能运行。
缺点是隔一段时间就要全部重新运行,而且上传速度慢。

SAM-Track online / offline配置_第2张图片
input可以选video, 也可以选image sequence.
上传之后,点segment everything for 1st frame(跟踪第一帧),
然后start tracking. 就可以坐等处理好的image sequence masks和mp4.

如果是本地配置,也可以按照SAMTrack.ipynb里的顺序执行,但是可能会出现问题。

python app.py

这时候会出现一个127.0.0.1的链接,进入连接就会出现上面的webUI,
但是当点segment everything for 1st frame时报错,

case 1:
NVIDIA driver too old
这是pytorch+cudatookit和本机的cuda不匹配的原因,本机只能用cuda11.X,
那么去pytorch官网找到匹配11.X的版本。

case 2:
ValueError: Unknown scheme for proxy URL URL(‘socks://127.0.0.1:10801/’)
你是否手动设置了network proxy?改为自动。

case 3:
OSError: We couldn’t connect to ‘https://huggingface.co’ to load this file
网络问题,把文件下载下来本地解决。
从报错内容得知路径为bert-base-uncased,
那么从这个站点下载需要的文件。
bert-base-uncased
下载这几个,
例如放在新建的bert_base文件夹,在Segment-and-Track-Anything/bert_base.

SAM-Track online / offline配置_第3张图片

根据报错位置修改路径,比如
修改Segment-and-Track-Anything/src/groundingdino/groundingdino/util/ge
t_tokenlizer.py

#tokenizer = AutoTokenizer.from_pretrained(text_encoder_type)
tokenizer = AutoTokenizer.from_pretrained("Segment-and-Track-Anything/bert_base") #上面的文件放在新建的bert_base文件夹


#return BertModel.from_pretrained(text_encoder_type)
return BertModel.from_pretrained("Segment-and-Track-Anything/bert_base")

case 4:
Unable to load weights from pytorch checkpoint file
安装的pytorch版本和要求的不一致,
ipynb中的版本是torch 2.1.0+cu121, 试试看>=2.0。

你可能感兴趣的:(DeepLearning,人工智能,计算机视觉,语义分割)