Multi-modal

MIA | Multi-modal contrastive mutual learning and pseudo-label re-learning for semi-supervised medic

MIA|Multi-modalcontrastivemutuallearningandpseudo-labelre-learningforsemi-supervisedmedicalimagesegmentation论文标题：Multi-modalcontrastivemutuallearningandpseudo-labelre-learningforsemi-supervisedmedical

CodeCognizer（代码认知者）·2024-02-11 14:50

Robust Dynamic Multi-Modal Data Fusion复现

复现结果–DMA：DMAScenario116.25(0.002)Scenario224.15(0.364)Scenario316.27(0.003)Scenario424.24(0.092)averagedovertheabovescenarios20.23(0.115)\begin{array}{}&DMA\\Scenario\1&16.25\(0.002)\\Scenario\2&24.15

宇来风满楼·2024-02-09 06:37

CVPR2023|Learning Instance-Level Representation for Large-Scale Multi-Modal Pretraining in Ecommerce

文章目录摘要引言贡献方法提取实例为中心的表示1.InstanceQuery2.InstanceDecoder3.Multi-ModalPretrainingObjectives4.TransfertoDowntasks转换到下游任务实验预训练数据集实验细节在下游任务上的Evaluationconclusion摘要本文旨在建立一个通用的多模态基础模型，该模型具有可扩展的电子商务中大规模下游应用的能力

万年枝·2024-02-06 06:59

Fusion based on attention mechanism and context constraint for multi-modal brain tumor segmentation

论文：ComputerizedMedicalImagingandGraphics2020数据集：BraTS20171.Introduction脑肿瘤是世界上最具侵袭性的癌症之一（isın和Direkoglu，˘S¸ah，2016；Menze等人，2014年）。磁共振成像（MRI）是一种广泛应用于评估脑肿瘤的成像技术，它是一种非侵入性和良好的软组织对比成像方式，在不暴露于高电离辐射的情况下提供关于脑

zelda2333·2024-01-28 08:20

Retrieval-augmented Multi-modal Chain-of-Thoughts Reasoning for Large Language Models

本文是LLM系列文章，针对《Retrieval-augmentedMulti-modalChain-of-ThoughtsReasoningforLargeLanguageModels》的翻译。检索增强的大型语言模型的多模态思维链推理摘要1引言2相关工作3方法4实验5结论摘要大型语言模型（LLM）的发展引起了人们对思维链（CoT）方法的极大关注。，主要是因为它能够增强LLM在需要复杂推理的任务中的

UnknownBody·2024-01-25 17:53

2024年1月17日Arxiv热门NLP大模型论文：Generative Multi-Modal Knowledge Retrieval with Large Language Models

清华&腾讯AAAI2024联手突破！提出多模态知识检索新框架，性能大幅领先引言：多模态知识检索的重要性与挑战在当今信息爆炸的时代，多模态知识检索已成为支持知识密集型多模态应用的关键技术。例如，在视觉问答（VQA）、多模态实体链接和多模态对话等应用中，多模态上下文内的信息可能不足以满足需求，因此需要获取外部知识。然而，现有的方法在有效性和训练效率方面面临挑战，尤其是在训练和整合多个检索器以处理多模态

夕小瑶·2024-01-18 12:43

【论文阅读笔记】Multi-modal brain tumor segmentation via disentangled representation learning and region-awa

ZhouT.Multi-modalbraintumorsegmentationviadisentangledrepresentationlearningandregion-awarecontrastivelearning[J].PatternRecognition,2024:110282.本文是杭州师范大学周同雪博士脑瘤分割系列最新论文（国家自然科学基金资助No.62206084），之前已经有多篇

cskywit·2024-01-17 01:21

【提示学习论文六】MaPLe: Multi-modal Prompt Learning论文原理

文章目录MaPLe:Multi-modalPromptLearning多模式提示学习文章介绍动机MaPLe:Multi-modalPromptLearning模型结构1、DeepLanguagePrompting深度语言提示2、DeepVisionPrompting深度视觉提示3、VisionLanguagePromptCoupling视觉语言提示耦合提示耦合过程实验1、通过V-Lpromptsp

一个很菜的小猪·2024-01-12 19:55

图像融合论文阅读：MURF: Mutually Reinforcing Multi-Modal Image Registration and Fusion

@article{xu2023murf,title={MURF:MutuallyReinforcingMulti-modalImageRegistrationandFusion},author={Xu,HanandYuan,JitengandMa,Jiayi},journal={IEEETransactionsonPatternAnalysisandMachineIntelligence},yea

图像强·2024-01-07 21:36

【论文阅读笔记】Multi-Modal Learning With Missing Modality via Shared-Specific Feature Modelling

WangH,ChenY,MaC,etal.Multi-ModalLearningWithMissingModalityviaShared-SpecificFeatureModelling[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2023:15878-15887.【论文概述】本文的核心思想

cskywit·2024-01-06 09:27

How to Bridge the Gap between Modalities: A Comprehensive Survey on Multi-modal Large Language Model

本文是LLM系列文章，针对《HowtoBridgetheGapbetweenModalities:AComprehensiveSurveyonMulti-modalLargeLanguageModel》的翻译。如何弥合模态之间的差距——多模态大语言模型综述摘要1引言2概述3多模态转换器4多模态感知器5工具辅助6数据驱动MLLMs7未来方向和挑战8结论摘要本文探讨了多模态大型语言模型（MLLMs），

UnknownBody·2024-01-05 13:04

Aligning Large Multi-Modal Model with Robust Instruction Tuning

Abstract尽管多模态任务取得了有希望的进展，但当前的大型多模态模型（LMM）很容易产生与相关图像和人类指令不一致的描述的幻觉。LRV-指令。我们通过引入第一个大型且多样化的视觉指令调整数据集来解决这个问题，该数据集名为大规模鲁棒视觉（LRV）指令。我们的数据集由GPT4生成的120k视觉指令组成，涵盖16个具有开放式指令和答案的视觉和语言任务。我们还设计了LRV-Instruction，以包

Mars_prime·2024-01-04 12:12

多模态3D目标检测论文精读：Multi-Modal 3D Object Detection in Autonomous Driving：A Survey

调查原文链接论文日期：2023-08-01论文期刊：InternationalJournalofComputerVisionSCI2区，IF：19.5Keywords:3DObjectDetection,Multi-modal

qiang42·2023-12-23 12:50

论文阅读：UniSeg: A Unified Multi-Modal LiDAR Segmentation Network and the OpenPCSeg Codebase

0、Abstract点视图、体素视图和距离视图是点云的三种典型形式。它们都有精确的3D测量，但缺乏颜色和纹理信息。RGB图像是这些点云视图的自然补充，充分利用它们的全面信息有利于更强的感知。本文提出了一种统一的多模态激光雷达图像分割网络，称为UniSeg，该网络利用RGB图像信息和三视点云信息，同时实现了语义分割和全景分割。具体而言，我们首先设计了可学习交叉模态关联Learnablecross-M

shiyueyueya·2023-12-17 06:52

MQ-Det: Multi-modal Queried Object Detection in the Wild

首个支持视觉和文本查询的开放集目标检测方法NeurIPS2023文章：https://arxiv.org/abs/2305.18980代码：https://github.com/YifanXu74/MQ-Det主框图摘要这篇文章提出了MQ-Det，一种高效的架构和预训练策略，它利用文本描述的开放集泛化能力和视觉示例的丰富描述粒度作为类别查询，即多模态查询目标检测。MQ-Det将视觉查询融入现有的仅

深山里的小白羊·2023-12-15 17:24

【论文阅读笔记】Uncertainty quantification and attention-aware fusion guided multi-modal MR brain tumor segm

ZhouT,ZhuS.Uncertaintyquantificationandattention-awarefusionguidedmulti-modalMRbraintumorsegmentation[J].ComputersinBiologyandMedicine,2023:107142.本文与“Featurefusionandlatentfeaturelearningguidedbraint

cskywit·2023-12-15 12:43

Understanding and Constructing Latent Modality Structures in Multi-Modal Representation Learning

以下是可以作为分类标准的四个特征：1.数据模式。数据模式是指用于训练模型的数据类型。在本例中，数据可以是视觉、文本或视觉和语言。视觉：这意味着模型仅在图像上进行训练。模型学习以捕捉其视觉内容的方式表示图像。文本：这意味着模型仅在文本上进行训练。模型学习以捕捉其含义的方式表示文本。视觉和语言：这意味着模型在图像和文本上进行训练。模型学习以捕捉其含义及其相互关系的方式表示图像和文本。2.学习目标。学习

结构化文摘·2023-12-06 12:37

Multi-modal brain tumor image segmentation based on improved U-net model

THEARCHITECTUREOFIMPROVEDNETWORKMODEL作者未提供代码

宇来风满楼·2023-11-25 22:19

Multi-Modal Meta Continual Learning

⊙\odot⊙denotesthemodulationoperator，Cont.isthecontinuumdata辅助信息作者未提供代码

宇来风满楼·2023-11-25 22:11

[论文阅读笔记]Learning Unified Hyper-network for Multi-modal MR Image Synthesis and Tumor Segmentation wit

YangH,SunJ,XuZ.LearningUnifiedHyper-networkforMulti-modalMRImageSynthesisandTumorSegmentationwithMissingModalities[J].IEEETransactionsonMedicalImaging,2023.【开源】缺失模态合成、分割端到端完成。本文的主要创新点可以概括为以下几个方面：1.统一的

cskywit·2023-11-25 11:43

论文速读《DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection》

概括主要内容文章《DeepFusion:Lidar-CameraDeepFusionforMulti-Modal3DObjectDetection》提出了两种创新技术，以改善多模态3D检测模型的性能，通过更有效地融合相机和激光雷达传感器数据来提高对象检测的准确性，尤其是在行人检测方面。这两种技术包括：①InverseAug：该技术通过逆转几何相关的增强，如旋转，使激光雷达点和图像像素之间能够精确地

Shine锐·2023-11-24 12:11

Multi-modal Sensor Fusion for Auto Driving Perception: A Survey（自动驾驶感知多模态传感器融合综述）

摘要多模态融合是自动驾驶系统感知中的一个基本任务。然而，由于原始数据的噪声，信息的未充分利用和多模态传感器的失调，实现一个相当好的性能并不是一个容易的事情。在这片文章中，作者对于现有的基于多模态自动驾驶感知任务方法进行了文献综述。作者对于超过50片论文进行了一个详细的分析，利用感知传感器（包括激光雷达和相机）试图解决目标检测和语义分割的任务。与传统的融合模型分类方法不同，作者提出了一种创新的方法，

qaaaaaaz·2023-11-22 01:43

Semi-Supervised Multi-Modal Learning with Balanced Spectral Decomposition

Y是所有模态的表征矩阵，∑i=1dh(λi)\sum_{i=1}^dh(\lambda_i)∑i=1dh(λi)istheproposedeigenvalue-basedobjectivefunction,thefinalsimilaritymatrixWforthemultimodaldataasablockmatrix辅助信息作者未提供代码

宇来风满楼·2023-11-21 02:08

RFNet: Region-aware Fusion Network for Incomplete Multi-modal Brain Tumor Segmentation

RFNet:Region-awareFusionNetworkforIncompleteMulti-modalBrainTumorSegmentation背景贡献、总结实验方法1、四个编码器，分别从四种模态中提取特征2、区域感知融合模块3、解码器Dsep（基于分段的正则化器）4、解码器DfuseThinkingBrainTumorSegmentation)背景利用多模态数据来提升语义分割的精度，不

火柴狗·2023-11-20 12:44

SELF-AUGMENTED MULTI-MODAL FEATURE EMBEDDING

twoembeddingsforg_{org}organdfaug_{aug}augarecombinedusingagatingmechanism作者未提供代码

宇来风满楼·2023-11-19 08:06

【论文阅读】NIPS 2023 Connecting Multi-modal Contrastive Representations 多模态表征，跨模态对比学习表征，图像，文本，音频，3D

本博客系博主根据个人理解所写，非逐字逐句翻译，预知详情，请参阅论文原文。发表地点：NIPS2023；论文下载链接：https://arxiv.org/abs/2305.14381代码链接：https://c-mcr.github.io/C-MCR/；摘要：多模态对比表征学习MCR（Multi-modalContrastiveRepresentation）致力于将不同模态的数据编码到一个语义对齐的共

me_yundou·2023-11-10 13:37

《Deep RGB-D Saliency Detection with Depth-Sensitive Attentionand Automatic Multi-Modal Fusion》阅读理解

转载请注明出处。作者：PengSunWenhuZhangHuanyuWangSongyuanLiXiLi论文地址：[2103.11832]DeepRGB-DSaliencyDetectionwithDepth-SensitiveAttentionandAutomaticMulti-ModalFusion(arxiv.org)2021CVPR作者提出了一个具有深度敏感注意力和自动多模态融合的深度RG

yuehuihui00·2023-11-04 04:53

2021-08-18-Hi-Net Hybrid-fusion Network for Multi-modal MR Image Synthesis (TMI 2020)-有代码

代码链接：https://github.com/taozh2017/HiNet这篇文章是做什么的：多模态MR图像合成输入：多张图像是否需要数据配准：需要是基于2D还是3D:2Daxial-planeslicesofthevolumes二维轴平面切片---文章的motivation---医学图像合成方法的很大一部分工作是用单模态数据[13]、[15]–[19]。然而，由于医疗应用中经常使用多种模态，

大虎甜面酱·2023-11-02 16:21

毫米波雷达论文速递 | Dual Radar: A Multi-modal Dataset with Dual 4D Radar for Autononous Driving

R.X. NLOS·2023-10-29 22:48

End-to-End Adversarial-Attention Network for Multi-Modal Clustering

方法融合表征hf_ff=∑v\sum_v∑vwv_vvhvh^vhv辅助信息作者未提供代码

宇来风满楼·2023-10-29 13:37

【多模态论文阅读】Multi-modal Factorized Bilinear Pooling with Co-Attention Learning for Visual Question Ans

一、亮点对于多模态特征融合，本文开发了一种多模态因子双线性（MFB）池化方法来有效地组合多模态特征；对于细粒度的图像和问题表示，开发了一种“共同注意”机制，使用端到端的深度网络架构来共同学习图像和问题的注意力。二、MCB和MLB的缺点MCB模型依赖于高维输出特征来保证稳健的性能，这可能会由于巨大的内存使用量而限制其适用性。为了克服这个问题，Kim等人提出了基于两个特征向量的Hadamard乘积的多

CC‘s World·2023-10-23 04:14

【论文泛读】2020-2-Deep Multi-Instance Learning Using Multi-Modal Data for Diagnosis of Lymphocytosis

1.题目使用多模态数据诊断淋巴细胞增多症的深度多实例学习(DeepMulti-InstanceLearningUsingMulti-ModalDataforDiagnosisofLymphocytosis)2.摘要我们研究了深度学习最新进展的用途，并在专家混合公式(mixture-of-expertsformulation)中提出了一个端到端可训练的多实例卷积神经网络，该公式结合了来自两种类型数据

Windingd·2023-10-23 04:44

论文阅读 - VoterFraud2020: a Multi-modal Dataset of Election Fraud Claims on Twitter

论文链接：https://arxiv.org/abs/2101.08210目录摘要1Introduction2DataCollection2.1StreamingTwitterData2.2覆盖率分析3DataEnhancement4DataSharingandFormat摘要围绕美国2020年大选，毫无根据的选举舞弊指控广泛传播，导致人们对选举的信任受到损害，最终导致美国国会大厦内的暴力事件。在

无脑敲代码，bug漫天飞·2023-10-21 16:42

COMMUTING CONDITIONAL GANS FOR MULTI-MODAL FUSION

方法Cf^ff是分类器，Pf^ff(oi_ii)是第i个物体出现的融合概率作者未公布代码

宇来风满楼·2023-10-18 14:31

MMDP: A Mobile-IoT Based Multi-Modal Reinforcement Learning Service Framework

框架AHTT可被定义为AHTT的元素表示智能体在动作为almna_{lmn}almn的情况下从张量状态sijks_{ijk}sijk转移到另一个张量状态sijk′s_{ijk}^{'}sijk′的概率通过数理统计首先得到多变量频率张量状态sijks_{ijk}sijk的值函数等于策略πtensor\pi_{tensor}πtensor下状态-动作对值函数的值之和，蓝色框中的状态-动作对值函数可以定

宇来风满楼·2023-10-18 14:31

A Novel Approach Based on Encoder-Decoder with Attention Framework for Multi-modal Multi-label Learn

方法给定实例的输入模态序列{x1^11,x2^22,…,xm^mm}，考虑到每个模态的维度数不同，修改输入模态x~k\tildex^kx~k为[0,0,…,xkx^kxk,…,0]，h→\overrightarrowhh,h←\overleftarrowhh分别是前向和后向隐藏状态，对于第ttt步，h→t\overrightarrowh_tht=Fen→\overrightarrow{F_{en}

宇来风满楼·2023-10-09 19:07

Rethinking Modal-oriented Label Correlations for Multi-modal Multi-label Learning

方法对于第t步，将第t个模态的向量送入LSTM得到状态ht^tt，并与之前t-1步的所有状态拼接起来送入密集层，通过模态特定标签预测fspect^t_{spec}spect与其他标签的先前标签预测Ft−1^{t-1}t−1之间的协作进行标签预测，得到输出Ft^tt，公式化为：Ft^tt(Ht^tt)=σ(fspec(Ht)+Zt−1S)(f_{spec}(H^t)+Z^{t-1}S)(fspec(

宇来风满楼·2023-10-06 01:13

Interference Signal Recognition Based on Multi-Modal Deep Learning

系统结构基于决策的融合实际上是用损失函数监督融合模型其中NNN是训练样本的数量体会作者未解释公式4的tit_iti的含义且不公布代码

宇来风满楼·2023-10-06 01:13

阅读笔记-Multi-Modal Fusion Transformer for end-to-end autonomous driving

来源：arXiv:2104.09224v1代码：https://github.com/autonomousvision/transfuserTitle以前没接触过自动驾驶方面的文章，最近在看transformer的文章所以扫一眼，这里简单记录下该方法的思路，实验部分就不多说了。该文章解决的任务是自动驾驶中的状态预测问题，举个直观的例子，一辆无人车在时刻t获得了当前时刻的场景信息(可以是图像、雷达等

熙熙江湖·2023-10-05 16:52

【论文笔记】SparseFusion: Fusing Multi-Modal Sparse Representations for Multi-Sensor 3D Object Detection

原文链接：https://arxiv.org/abs/2304.143401.引言目前的3D目标检测工作都使用模态的密集表达（如BEV、体素、点云），但由于我们只对实例/物体感兴趣，这种密集表达是冗余的。此外，背景噪声对检测有害，且将多模态对齐到同一空间很耗时。相反，稀疏表达很高效且能达到SotA性能。通常，使用稀疏表达的方法使用物体查询表示物体或实例，并与原始图像和点云特征交互。本文

byzy·2023-10-04 15:33

A Span-based Multi-Modal Attention Network for joint entity-relationextraction

原文链接：https://www.sciencedirect.com/science/article/pii/S0950705122013247?via%3DihubKnowledge-BasedSystems2023介绍作者认为当前基于span的关系提取方法都太关注于span内部的语义，忽略了span与span之间以及span与其他模态之间（比如tokens和labels）的交互。因此作者提出了

pepsi_w·2023-09-26 18:36

MaPLe: Multi-modal Prompt Learning

本文也是LLM系统的文章，主要是面向多模态的大语言模型，针对《MaPLe:Multi-modalPromptLearning》的翻译。MaPLe：多模态提示学习摘要1引言2相关工作3方法4实验5结论摘要CLIP等预先训练的视觉语言（V-L）模型对下游任务表现出了出色的泛化能力。但是，它们对输入文本提示的选择很敏感，需要仔细选择提示模板才能执行良好的操作。受自然语言处理（NLP）文献的启发，最近的C

UnknownBody·2023-09-05 23:35

视觉大模型综述

万字长文带你全面解读视觉大模型细数近期涌现的优秀视觉大模型工作https://mp.weixin.qq.com/s/jLQaguLejx9zXjZjaJWx-Q深入了解视觉语言模型-知乎人类学习本质上是多模态(multi-modal

Kun Li·2023-08-19 15:35

CVPR, 2023 | MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generatio

注1:本文系“计算机视觉/三维重建论文速递”系列之一,致力于简洁清晰完整地介绍、解读计算机视觉,特别是三维重建领域最新的顶会/顶刊论文(包括但不限于Nature/Science及其子刊;CVPR,ICCV,ECCV,NeurIPS,ICLR,ICML,TPAMI,IJCV等)。本次介绍的论文是:2023,CVPR,MM-Diffusion:LearningMulti-ModalDiffusionM

R.X. NLOS·2023-08-15 08:33

2021-08-23-Relation-Induced Multi-Modal Shared Representation Learning for Alzheimers Disease Dia...

2021-08-23-Relation-InducedMulti-ModalSharedRepresentationLearningforAlzheimersDiseaseDiagnosis(TMI2021)-无代码代码链接：无这篇文章是做什么的：阿尔茨海默病检测输入：多模态是否需要数据配准：需要是基于2D还是3D:未提，看图是2D---文章的Motivation---多模态数据（如磁共振成像（M

大虎甜面酱·2023-08-08 08:59

【论文阅读】Hierarchical Multi-modal Contextual Attention Network for Fake News Detection --- 虚假新闻检测，多模态

本博客系本人阅读该论文后根据自己理解所写，非逐句翻译，欲深入了解该论文，请参阅原文。论文标题：HierarchicalMulti-modalContextualAttentionNetworkforFakeNewsDetection；关键词：社交媒体，虚假新闻检测，多模态学习；作者：ShengshengQian，JinguangWang，JunHu，QuanFang，ChangshengXu；中国

me_yundou·2023-08-04 23:55

RFNet- Unsupervised Network for Mutually Reinforcing Multi-modal Image Registration and Fusion

1.Abstract在这篇论文中，我们提出了一种新颖的方法，以实现多模态图像的配准和融合，该方法在一个相互强化的框架中被称为RFNet。我们以粗到精的方式处理配准过程。首次，我们利用图像融合的反馈来提高配准的准确性，而不是将它们视为两个独立的问题。精确配准的结果还改善了融合性能。具体而言，对于图像配准，我们解决了定义适用于多模态图像和促进网络收敛的配准度量的瓶颈问题。这些度量分别基于粗阶段的图像平

保持客气哈·2023-07-27 05:40

文献阅读：Multi-Modal and Multi-User Semantic Communications for Channel-Level Information Fusion

目录动机：为什么作者想要解决这个问题？贡献：作者在这篇论文中完成了什么工作(创新点)？规划：他们如何完成工作？未来的研究方向自己的看法参考文献动机：为什么作者想要解决这个问题？在传统通信或现有语义通信中，所有单模态用户都将他们的数据传输到接收器进行信息融合。接收端接收到数据后，首先检测多用户信号，然后通过信道解码和信源解码（语义解码）对数据进行解码，如图所示。这样的系统存在一些问题，即多用户信号

一去不复返的通信er·2023-06-19 14:54

RIS系列：Multi-Modal Mutual Attention and Iterative Interaction for Referring Image Segmentation 论文阅读笔记

RIS系列：Multi-ModalMutualAttentionandIterativeInteractionforReferringImageSegmentation论文阅读笔记一、Abstract二、引言三、相关工作A、ReferringsegmentationB、Transformer四、方法A、Multi-ModalMutualAttentionB、IterativeMulti-Modal

乄洛尘·2023-06-15 04:21

Multi-modal Alignment using Representation Codebook

Multi-modalAlignmentusingRepresentationCodebook题目Multi-modalAlignmentusingRepresentationCodebook译题使用表示子空间的多模态对齐期刊/会议CVPR摘要：对齐来自不同模态的信号是视觉语言表征学习（representationlearning）的重要一步，因为它会影响后期阶段的表现，如跨模态融合（across

uuu_柚子·2023-04-21 14:48

推荐频道