grounding

【论文笔记】Separating the “Chirp” from the “Chat”: Self-supervised Visual Grounding of Sound and Language

Abstract提出了DenseAV，一种新颖的双编码器接地架构，仅通过观看视频学习高分辨率、语义有意义和视听对齐的特征。在没有明确的本地化监督的情况下，DenseAV可以发现单词的"意义"和声音的"位置"。此外，它在没有监督的情况下自动发现并区分这两种类型的关联。DenseAV的定位能力源于一种新的多头特征聚合算子，该算子直接比较稠密的图像和音频表示进行对比学习。相比之下，许多其他学习"全局"音
xhyu61·2024-08-26 14:46

huggingface学习|云服务器部署Grounded-Segment-Anything：bug总会一个一个一个一个又一个的解决的

文章目录一、环境部署（一）模型下载（二）环境配置（三）库的安装二、运行（一）运行grounding_dino_demo.py文件（二）运行grounded_sam_demo.py文件（三）运行grounded_sam_inpainting_demo.py
丁希希哇·2024-01-24 15:29

Grounding 模型 + SAM 报错

引入Grounding目标检测模型串联SAM从而实现实例分割任务，目前支持GroundingDINO和GLIP参考教程MMDetection-SAM如果是GroundingDINO则安装如下依赖即可cdplaygroundpipinstallgit
gs80140·2024-01-17 08:56

Grounding DINO：开放集目标检测，将基于Transformer的检测器DINO与真值预训练相结合

文章目录背景知识补充CLIP(ContrastiveLanguage-ImagePre-training)：打破文字和图像之间的壁垒DINO(Data-INterpolatingNeuralNetwork)：视觉Transformer的自监督学习StableDiffusion：从文本描述中生成详细的图像Open-setDetector开集检测器一、GroundingDINO的创新点二、Ground
丁希希哇·2024-01-14 07:59

DUET: Cross-Modal Semantic Grounding for Contrastive Zero-Shot Learning论文阅读

文章目录摘要1.问题的提出引出当前研究的不足与问题属性不平衡问题属性共现问题解决方案2.数据集和模型构建数据集传统的零样本学习范式v.s.DUET学习范式DUET模型总览属性级别对比学习==正负样本解释：==3.结果分析VIT-basedvisiontransformerencoder.消融研究消融研究解释4.结论与启示结论总结启发PLMs的潜在语义知识引入多模态，跨模态整合细粒度角度考虑原文链接
GCTTTTTT·2024-01-10 09:37

RIS 系列 Mask Grounding for Referring Image Segmentation 论文阅读笔记

RIS系列MaskGroundingforReferringImageSegmentation论文阅读笔记一、Abstract二、引言三、相关工作ArchitectureDesignforRISLossDesignforRISMaskedLanguageModeling四、方法4.1结构4.2MaskGrounding讨论4.3跨模态对齐模块4.4跨模态对齐损失4.5损失函数五、实验5.1数据集及
乄洛尘·2023-12-25 09:17

UI Grounding 学习笔记

学习资料【OpenMMLab社区开放麦讲座】《颠覆性创新：多模态对话与精准区域分割-VPGTrans&NExT-Chat》1.学术关键字LLMDetection2.相关论文InstructBLIP：指令微调RT-DETRVPGTrans:TransferVisualPromptGeneratoracrossLLMs(NeurIPS2023)：模态对齐预训练，针对类BLIP-2架构Phi：小语言模型
songyuc·2023-12-20 22:21

Grounding DINO、TAG2TEXT、RAM、RAM++论文解读

提示：GroundingDINO、TAG2TEXT、RAM、RAM++论文解读文章目录前言一、GroundingDINO:MarryingDINOwithGroundedPre-TrainingforOpen-SetObjectDetection1、摘要2、背景3、部分文献翻译4、贡献5、模型结构解读a.模型整体结构b.特征增强结构c.解码结构6、实验有趣说明二、TAG2TEXT:GUIDINGV
tangjunjun-owen·2023-12-15 01:10

CogVLM大模推理代码详细解读

文章目录前言一、参数介绍1.cogvlm-grounding-generalist参数介绍二、模型构建1、创建主函数(get_model)2、调用sat库模型构建函数(base_model.py)3、模型类构建模型
tangjunjun-owen·2023-12-15 01:52

grounding dino和segment anything安装

解决方法：cdGroundingDINO然后pythonsetup.pyinstallcdsegmentanything然后pythonsetup.pyinstall
清风er·2023-11-30 12:01

Grounding Answers for Visual Questions Asked by Visually Impaired People

目录一、论文速读1.1摘要1.2论文概要总结相关工作主要贡献论文主要方法实验数据未来研究方向二、论文精度论文试图解决什么问题？论文中提到的解决方案之关键是什么？用于定量评估的数据集是什么？代码有没有开源？下一步呢？有什么工作可以继续深入？一、论文速读arxiv：https://arxiv.org/pdf/2202.01993.pdf1.1摘要这篇论文的标题是“GroundingAnswersfor
hanranV·2023-11-29 17:02

视觉CV-AIGC一周最新技术精选(2023-11)

最近将基于图像的LMM扩展到视频的方法要么缺乏grounding定位能力（例如，VideoChat，Video-ChatGPT，Video-L
机器学习与AI生成创作·2023-11-26 13:14

用于3D Visual Grounding的多模态场景图

文章目录引言方法1.LanguageSceneGraphModulePaper：《Free-formDescriptionGuided3DVisualGraphNetworkforObjectGroundinginPointCloud》【ICCV’2021】Code：https://github.com/PNXD/FFL-3DOG引言3DVG任务有以下三个挑战：在复杂、多样的文本描述中找到主要的重
Iron_lyk·2023-11-06 00:28

开放词汇视觉定位 OV-VG: A Benchmark for Open-Vocabulary Visual Grounding 论文笔记

开放词汇视觉定位OV-VG:ABenchmarkforOpen-VocabularyVisualGrounding论文笔记一、Abstract二、Abstract三、相关工作A、视觉定位B、短语定位C、开放词汇学习D、开放词汇视觉定位四、数据集构建A、数据集描述B、数据集分离1)图像分离2）类别分离C、数据标注和样本1）OV-VGReferringExpressionAnnotation2）OV-
乄洛尘·2023-11-04 04:28

Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection(论文解析)

GroundingDINO:MarryingDINOwithGroundedPre-TrainingforOpen-SetObjectDetection:根据文字提示检测任意目标摘要1介绍2相关工作3.GroundingDINO3.1.特征提取和增强器3.2.语言引导的查询选择3.3.交叉模态解码器3.4.子句级别文本特征3.5.损失函数4实验4.1.设置4.2.Zero-ShotTransfer
黄阳老师·2023-11-02 14:02

【无标题】

▲（左边为GPT-4V生成，右边为MiniGPT-v2生成）而且只是一句简单指令：[grounding]describethisimageindetail就实现的结
夕小瑶·2023-10-21 00:18

全景叙事定位 Towards Real-Time Panoptic Narrative Grounding by an End-to-End Grounding Network 论文阅读笔记

全景-语句定位TowardsReal-TimePanopticNarrativeGroundingbyanEnd-to-EndGroundingNetwork论文阅读笔记一、Abstract二、引言三、相关工作PanopticSegmentationReferringExpressionSegmentationPanopticNarrativeGrounding四、End-to-EndPanopt
乄洛尘·2023-10-20 23:05

开放目标检测Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection 论文阅读笔记

开放目标检测GroundingDINO:MarryingDINOwithGroundedPre-TrainingforOpen-SetObjectDetection论文阅读笔记一、Abstract二、引言三、相关工作DetectionTransformersOpen-SetObjectDetection四、GroundingDINO4.1特征提取和增强器4.2语言引导的Query选择4.3跨模态解
乄洛尘·2023-10-13 09:34

Language Adaptive Weight Generation for Multi-task Visual Grounding 论文阅读笔记

LanguageAdaptiveWeightGenerationforMulti-taskVisualGrounding论文阅读笔记一、Abstract二、引言三、相关工作3.1指代表达式理解3.2指代表达式分割3.3动态权重网络四、方法4.1总览4.2语言自适应权重生成语言特征聚合权重生成4.3多任务头4.4训练目标五、实验5.1数据集和评估指标数据集评估指标5.2实施细节训练推理5.3与SOA
乄洛尘·2023-09-21 14:06

Grounded Language-Image Pre-training论文笔记

Title：GroundedLanguage-ImagePre-trainingCode文章目录1.背景2.方法（1）UnifiedFormulation传统目标检测grounding目标检测（2）Language-AwareDeepFusion
Nick Blog·2023-08-25 05:53

Invariant grounding for video question answering 论文阅读

论文地址：https://openaccess.thecvf.com/content/CVPR2022/papers/Li_Invariant_Grounding_for_Video_Question_Answering_CVPR
魔法少女玛格姬·2023-08-24 17:08

REC 系列 Visual Grounding with Transformers 论文阅读笔记

REC系列VisualGroundingwithTransformers论文阅读笔记一、Abstract二、引言三、相关工作3.1视觉定位3.2视觉Transformer四、方法4.1基础的视觉和文本编码器4.2定位编码器自注意力的文本分支文本引导自注意力的视觉分支4.3定位解码器定位query自注意力编码器-解码器自注意力4.4预测头和训练目标五、实验5.1数据集5.2实施细节超参数的设置训练和
乄洛尘·2023-08-18 21:03

Grounding DINO：根据文字提示检测任意目标

文章目录1.背景介绍2.方法创新2.1FeatureExtractionandEnhancer2.2Language-GuidedQuerySelection2.3Cross-ModalityDecoder2.4Sub-SentenceLevelTextFeature2.5LossFunction3.实验结果3.1Zero-ShotTransferofGroundingDINO3.2Referri
猛码Memmat·2023-08-15 19:11

Grounding dino + segment anything + stable diffusion 实现图片编辑

目录总体介绍总体流程模块介绍目标检测：groundingdino目标分割：SegmentAnythingModel(SAM)整体思路模型结构：数据引擎图片绘制集成样例其他问题附录总体介绍总体流程本方案用到了三个步骤，按顺序依次为：基于语义的目标检测（使用groundingdino）在检测到的范围内进行目标分割生成mask（使用segmentanything）图片绘制（使用stablediffusi
crookie·2023-08-14 09:22

Grounded-Segment-Anything本地部署

Grounded-Segment-Anything本地部署1.本地部署源码1.1克隆源码1.2下载初始参数2.创建虚拟环境3.测试相关文件3.1运行`grounding_dino_demo.py`文件3.2
荼靡，·2023-07-31 23:35

共同建构的对话构成（摘）2021-06-19

焦点解决网络初17中19讲12坚持分享第677天20210619周六（第五期挑战计划：本周约练1次共12次咨11次总228次）在微观分析的观察下，共同建构的对话由四个部分构成，分别是-建立共同理解的基础（grounding
雪中小溪_2d38·2023-07-31 00:57

自我觉醒

所谓自我觉醒，即向内探索的关键一步，我用的词为Grounding。让自己从浮躁的氛围中沉降下来，去感受周围的事物。五光十色的生活让我耳聋目盲，致虚守静的状态才能向内看得更清楚。
日就月将·2023-07-21 07:49

清华、IDEA、港中文联合发表的 DQ-DETR: Dual Query Detection Transformer for Phrase Extraction and Grounding论文阅读笔记

清华、IDEA、港中文联合发表的DQ-DETR:DualQueryDetectionTransformerforPhraseExtractionandGrounding论文阅读笔记一、Abstract二、引言三、PEG&CMAP四、DQ-DETR双queries用于双端检测文本mask引导的注意力损失函数五、实验实施细节预训练设置预训练任务：PEG下游任务：短语定位下游任务：REC下游任务：DET
乄洛尘·2023-07-18 11:50

Dynamic MDETR: A Dynamic Multimodal Transformer Decoder for Visual Grounding 论文阅读笔记

DynamicMDETR:ADynamicMultimodalTransformerDecoderforVisualGrounding论文阅读笔记一、Abstract二、引言三、相关工作3.1视觉定位3.2多模态Transformer3.3有效的Transformers四、DynamicMDETR4.1预备知识4.1.1MultimodalTransformer4.1.2DETR和MDETR4.2
乄洛尘·2023-07-14 03:39

RIS 系列 TransVG++: End-to-End Visual Grounding with Language Conditioned Vision Transformer 论文阅读笔记

RIS系列TransVG++:End-to-EndVisualGroundingwithLanguageConditionedVisionTransformer论文阅读笔记一、Abstract二、引言三、相关工作3.1视觉定位两阶段方法单阶段方法视觉编码器的融合3.2Transformer视觉任务中的Transformer视觉-语言任务中的Transformer四、方法4.1背景：Transfor
乄洛尘·2023-07-14 03:00

RIS 系列：TransVG: End-to-End Visual Grounding with Transformers 论文阅读笔记

RIS系列：TransVG:End-to-EndVisualGroundingwithTransformers论文阅读笔记一、Abstract二、引言三、相关工作3.1视觉定位两阶段方法单阶段方法3.2Transformer视觉任务中的Transformer视觉-语言任务中的Transformer四、视觉定位中的Transformer4.1基础知识4.2TransVG的结构视觉分支语言分支视觉-语
乄洛尘·2023-06-23 19:23

【目标检测】Grounding DINO：开集目标检测器(CVPR2023)

文章目录前言1.摘要2.背景2.1相对于GLIP优势：2.2本文贡献2.3Open-Set目标检测3.算法3.1FeatureExtractionandEnhancer3.2.Language-GuidedQuerySelection3.3.Cross-ModalityDecoder3.4.Sub-SentenceLevelTextFeature3.5.LossFunction4.实验代码1文本t
杀生丸学AI·2023-06-19 15:47

【AIGC】15、Grounding DINO | 将 DINO 扩展到开集目标检测

文章目录一、背景二、方法2.1特征抽取和加强2.2Language-GuidedQuerySelection2.3Cross-ModalityDecoder2.4Sub-sentenceleveltextfeature2.5LossFunction3、效果3.1zero-shottransferofgroundingDINO3.2ReferringObjectdetection3.3Ablatio
呆呆的猫·2023-06-11 07:58

【AIGC】13、GLIP | 首次将 object detection 重建为 phrase grounding 任务

文章目录一、背景二、方法2.1将objectdetection和phrasegrounding进行统一2.2Language-awaredeepfusion2.3使用语义丰富的数据来进行预训练三、效果3.1迁移到现有Benchmarks3.2在COCO上进行零样本和有监督的迁移3.3在LVIS上进行零样本迁移学习3.4在Flickr30KEntities上进行phrasegrounding验证3.
呆呆的猫·2023-06-09 11:59

【计算机视觉 | 目标检测】术语理解2：Grounding 任务、MLM、ITM代理任务

文章目录一、Grounding任务二、word-region级别的grounding任务三、MLM、ITM代理任务一、Grounding任务Grounding任务是指将自然语言文本与视觉场景之间进行对齐或连接的任务
旅途中的宽~·2023-06-08 18:25

【计算机视觉 | 目标检测】Grounding DINO 深度学习环境的配置（含案例）

“GroundingDINO：MarryingDINOwithGroundedPre-TrainingforOpen-SetObjectDetection”的官方PyTorch实现：SoTA开放集对象检测器。文章目录一、HelpfulTutorial二、相关的论文工作2.1相关的论文整理2.2论文的亮点2.3论文介绍2.4MarryingGroundingDINOandGLIGEN2.5输入和输出
旅途中的宽~·2023-06-07 08:10

最强Zero-Shot视觉应用：Grounding DINO+Segment Anything+Stable Diffusion

借着Meta发布的SegmentAnything视觉大模型，跟朋友们做了一个最强Zero-Shot视觉应用：最强的Zero-Shot检测器，最强的Zero-Shot分割器，最强的Zero-Shot生成器，三合一模型简称为Grounded-SAM。代码地址如下：https://github.com/IDEA-Research/Grounded-Segment-Anything三种类型的模型可以分开使
人工智能与算法学习·2023-06-07 08:36

本地部署Grounding-segment-anything

1.安装docker将docker源设置成国内的(225条消息)解决Docker下载镜像速度太慢_腾讯云docker镜像地址下载太慢_码上富贵的博客-CSDN博客2.用docker拉去pytorch/cuda镜像参考(225条消息)docker拉取pytorch环境配置_拉取pytorch基础镜像1.7.0_dear_queen的博客-CSDN博客3.进入docker更改pip源pipconfig
小匠人·2023-06-07 08:25

Language Conditioned Spatial Relation Reasoning for 3D Object Grounding【NeurIPS 2022】

文章目录动机方法实验参考文献code：https://cshizhe.github.io/projects/vil3dref.htmlauthor：巴黎文理研究院动机为了在现实世界中执行人类指令，机器人应该理解自然语言，并能够在3D环境中ground上述物体。语言表达通常是描述物体在3D场景中的relativespatialrelations来指定物体的。比如上图中的这两个例子，就要消除同一类目标
Iron_lyk·2023-04-20 09:29

Grounding DINO-开集目标检测论文解读

文章目录摘要背景算法3.1FeatureExtractionandEnhancer3.2.Language-GuidedQuerySelection3.3.Cross-ModalityDecoder3.4.Sub-SentenceLevelTextFeature3.5.LossFunction实验4.2Zero-ShotTransferofGroundingDINOCOCO数据集LVIS数据集OD
‘Atlas’·2023-04-15 16:47

Language Conditioned Spatial Relation Reasoning for 3D Object Grounding【NeurIPS 2022】

文章目录动机方法实验启发参考文献code：https://cshizhe.github.io/projects/vil3dref.htmlauthor：巴黎文理研究院动机为了在现实世界中执行人类指令，机器人应该理解自然语言，并能够在3D环境中ground上述物体。语言表达通常是描述物体在3D场景中的relativespatialrelations来指定物体的。比如上图中的这两个例子，就要消除同一类
Iron_lyk·2023-04-08 01:38

目标检测笔记

Grounding-truthboundingbox：图片当中真实标记的框Predictedboundingbox：预测的时候标记的框对于一张图片当中多个目标，多个类别的时候。前面的输出结果是不定
初岘·2023-01-15 08:58

Suspected Object Matters: Rethinking Model’s Prediction for One-stage Visual Grounding 2022

图一**本文内容仅代表个人理解，如有错误，欢迎指正**1.Problem本文提出的立足点：主要物体间的相关关系对于框选目标物体而言是十分重要的，而当前一阶段的视觉定位方法对于物体之间的关系模拟比较薄弱，使得模型不能够较好地学到物体之间的相关关系，从而导致模型表现的差强人意。Q:那为什么说一阶段的视觉定位方法对于物体之间的关系模拟比较薄弱呢？A:如果要对物体之间的关系进行模拟、学习，首先需要有物体。
BachelorSC·2022-12-12 19:28

Pseudo-Q: Generating Pseudo Language Queries for Visual Grounding, 2022 CVPR

**本文内容仅代表个人理解，如有错误，欢迎指正**1.Problem&BackgroundInformation1.1Problem-目前，人们基本上都采用基于深度学习的方法来解决Visualgrounding任务。不论是全监督学习还是弱监督学习，都十分依赖人为标注的数据集，而人工标注不仅昂贵，还十分费时。因此，本篇论文的目标是减少模型对于人工标注数据的依赖。1.2BackgroundInform
BachelorSC·2022-12-12 19:28

One-Stage Visual Grounding之一种快速准确的单阶段视觉定位

One-StageVisualGrounding之一种快速、准确的单阶段视觉定位方法前言两阶段框架存在的缺陷单阶段视觉定位的优点单阶段视觉定位的方法视觉和文本特征编码空间特征编码融合定位一些细节两阶段与单阶段方法性能对比两阶段方法的错误对比分析单阶段方法结论未经本人同意，禁止任何形式的转载！《AFastandAccurateOne-StageApproachtoVisualGrounding》论文
球场书生·2022-12-12 19:27

One-Stage Visual Grounding(单阶段语言指示的视觉定位)论文略读_2019-2020

One-StageVisualGrounding2019-2020年论文略读1.Zero-ShotGroundingofObjectsfromNaturalLanguageQueries(2019ICCV)改进工作：论文模型：2.AFastandAccurateOne-StageApproachtoVisualGrounding(2019ICCV)3.AReal-TimeCross-modalit
球场书生·2022-12-12 19:27

One-Stage Visual Grounding论文汇总

目录现有方法2017arXiv题目动机简介2017CVPR题目动机简介2017CVPR题目动机简介2017IJCAI题目动机简介2018arXiv题目动机简介2018CVPR题目动机简介2019ICCV题目动机简介2019ICCV题目2019WACV题目动机简介2020CVPR题目动机简介2020ECCV题目动机简介2020ECCV题目2020ECCV题目xxx题目动机简介总结one-stage解
NeverMoreH·2022-12-12 19:57

ECCV 2020 《Propagating Over Phrase Relations for One-Stage Visual Grounding》论文笔记

目录简介动机贡献方法实验简介本文出自香港大学的sibei，二作是中山大学李冠斌老师下载链接动机Phraselevelvisualgrounding具有两个challenge：①大量的、可变的视觉内容，多样的短语描述（不同的短语描述可能指向同一个bbox，eg：穿红衣服的男子、拉小提琴的男子。。。）；②短语关系推理中存在明确的引用（顺序？）。现有方法分为两类：①大多数方法不建模短语之间的关系，而关注
NeverMoreH·2022-12-12 19:57

国科大&港中文提出带视觉语言验证和迭代推理的Visual Grounding框架，性能SOTA，代码已开源！（CVPR2022）...

关注公众号，发现CV技术之美本文分享CVPR2022的一篇论文『ImprovingfeaturesVisualGroundingwithVisual-LinguisticVerificationandIterativeReasoning』，由国科大&港中文提出带视觉语言验证和迭代推理的VisualGrounding框架，性能SOTA，代码已开源！详细信息如下：论文链接：https://arxiv.o
我爱计算机视觉·2022-12-12 19:56

论文：Visual Grounding with Transformers

作者摘要本文中，我们提出了一种基于transformer的可视接地方法。与以前的proposalandrank框架（严重依赖预训练对象检测器）或proposalfree框架（通过融合文本嵌入来升级现成的单级检测器）不同，我们的方法构建在transformer编码器-解码器之上，独立于任何预训练检测器或单词嵌入模型。我们的方法被称为VGTR——带transformer的视觉接地，旨在在文本描述的指导
小仙女呀灬·2022-12-12 19:26
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他