Multimodal 第5页

论文笔记 EMNLP 2021|Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for

文章目录1简介1.1动机1.2创新2方法2.1模态编码2.2模态中互信息最大化2.3融合中互信息最大化3实验1简介论文题目：ImprovingMultimodalFusionwithHierarchicalMutualInformationMaximizationforMultimodalSentimentAnalysis论文来源：EMNLP2021组织机构：新加坡科技设计大学论文链接：https

hlee-top·2022-12-02 18:41

【多模态】《Attention Bottlenecks for Multimodal Fusion》论文阅读笔记

一、概述这篇文章做的是视频分类，即通过视频帧的特征和声音特征这两种模态进行多模态融合并分类。这篇文章的思路非常巧妙，采用了Transformer的结构对多种模态的特征进行了编码，因为Transformer本身就是一个编码器，这篇文章的巧妙之处就在于使用的是一个Transformer对两种模态进行编码。同时，在本文的模型框架中，在早期的时候，在模态内部做selfattention；在中后期的时候，在

CC‘s World·2022-12-02 18:41

论文阅读：MMFT-BERT: Multimodal Fusion Transformer with BERT Encodings for Visual Question Answering

1、abstractWepresentMMFT-BERT(MultiModalFusionTransformerwithBERTencodings),tosolveVisualQuestionAnswering(VQA)ensuringindividualandcombinedprocessingofmultipleinputmodalities.Ourapproachbenefitsfrompr

cheetah023·2022-12-02 18:40

论文浅尝 | Hybrid Transformer Fusion for Multimodal KG Completion

笔记整理：陈子强，天津大学硕士，研究方向为自然语言处理论文链接：https://arxiv.org/pdf/2205.02357.pdf动机尽管多模态知识图谱补全较单模态知识图谱补全已经有了很大的改进，但仍然存在两个限制。（1）架构的通用性。不同的多模态知识图谱补全需要在不同的编码器架构之上建立特定的、单独参数化的融合模块。因此需要一个统一的模型用于各个多模态知识图谱补全任务。（2）模态噪声。当前

开放知识图谱·2022-12-02 18:07

【CVPR 2022 多模态融合（有3D检测）】Multimodal Token Fusion for Vision Transformers

MultimodalTokenFusionforVisionTransformers论文简介：具体实现：Alignment-agnosticfusionAlignment-awarefusionMultimodalTokenFusionResidualPositionalAlignment实验结果：论文简介：许多方法已经应用到了Transformer以解决单模态视觉任务，其中自注意模块被堆叠来处理

BIT可达鸭·2022-11-30 19:22

2022：Transformer Decoders with MultiModal Regularization for Cross-Modal Food Retrieval

摘要近些年跨模态图像-配方检索得到了广泛的关注。我们提出一种新的检索框架，T-Food（用于跨模态食物检索的多模态正则化的Transformer解码器），使用一种新的正则化方案利用模态间的交互作用，在测试时只使用单模态编码器用于高效检索。我们还利用专门的配方编码器捕获配方实体间的内部依赖，并提出一种具有动态边缘的三重损失的变体，以适应任务的难度。最后，我们利用最近的VLP模型的力量用于图像编码器，

weixin_42653320·2022-11-30 19:50

CVPR 2021 UniT: Multimodal Multitask Learning with a Unifified Transformer

动机transformer在包括但不限于自然语言、图像、视频和音频在内的广泛领域都显示出巨大的成功。前人的研究表明，在大型语料库中训练的transformer在一系列的下游语言任务中学习了强大的表征。在视觉领域中，基于transformer的模型在图像分类、目标检测和全景分割方面取得了非常不错的结果。除了对单个模态建模外，transformer模型在视觉问答等联合视觉和语言推理任务中也表现出很强的

smile909·2022-11-30 19:18

【论文】Multimodal Transformer

【论文】Yu,Jun,JingLi,ZhouYu,andQingmingHuang.Multimodaltransformerwithmulti-viewvisualrepresentationforimagecaptioning.（pdf）WhyisMTmodel以往流行的方式都是使用encoder-decoder结构，在encoder使用CNN提取局部视觉特征，decoder使用RNN根据视觉

大白羊_Aries·2022-11-30 19:46

阅读笔记多模态情感分析 Low Rank Fusion based Transformers for Multimodal Sequences

这一篇是讲多模态情感分类的。模型结构LowRankFusion借用了ACL2018EfficientLow-rankMultimodalFusionwithModality-SpecificFactors论文中的LowRankFusionACL2018的模型如下作者在此基础上，使用LSTM对序列数据进行压缩（为什么是时间序列，是如何用LSTM进行压缩的，这个论文没有讲清楚）Fusion-based

B站：阿里武·2022-11-30 19:15

＜＜视觉问答NeurIPS＞＞2021：Multimodal Few-Shot Learning with Frozen Language Models

金克丝、·2022-11-30 19:44

【论文笔记】VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text

【论文笔记】VATT:TransformersforMultimodalSelf-SupervisedLearningfromRawVideo,AudioandText论文信息题目：VATT:TransformersforMultimodalSelf-SupervisedLearningfromRawVideo,AudioandText作者：HassanAkbariandLiangzheYuana

Manjusaka\·2022-11-30 19:11

视觉Transformer (三) VATT: Transformers for Multimodal Self-Supervised Learning from Video, Audio,Text

文章来源paper:https://arxiv.org/pdf/2104.11178Motivation作者提出了一个使用无卷积transformer架构从无标签数据中学习多模态表示的框架。具体来说，Video-AudioTextTransformer(VATT)将原始信号作为输入，并提取足够丰富的多模态表征，从而有利于各种下游任务(例如检测、分类、跟踪)。作者使用多模态对比损失从头到尾训练VAT

fling_forever·2022-11-30 19:41

transformer 多模态综述学习笔记《Multimodal Learning with Transformers: A Survey》

我的目标：调研目前transformer在多模态领域的应用，内容也以此为重点（不全文解析）。论文标题：MultimodalLearningwithTransformers:ASurvey论文地址：https://arxiv.org/abs/2206.06488作者：PengXu,XiatianZhu,andDavidA.Clifton摘要：本文主要工作包括：多模态学习、Transformer生态系

我说你别说·2022-11-30 19:10

2021最新对比学习（Contrastive Learning）在各大顶会上的经典必读论文解读

，选择星标或置顶，每天给你送上干货作者|对白出品|公众号：对白的算法屋我为大家整理了对比学习在最新各大顶会上的论文合集及相应代码，所列举的论文涉及领域包括但不限于CV,NLP,Audio,Video,Multimodal

机智的叉烧·2022-11-29 09:46

MIND & MIND-SSC: Contrast- and Modality-invariant Image Similarity for Multimodal Image Registration

OBELISK方法通过可变形卷积实现深度学习，从而减少层数来解决3D多器官分割问题1Contrast-andmodality-invariantimagesimilarity模态独立邻域描述符（MIND）是一种多维局部图像描述符，可实现多模态配准。在配准单模态的扫描时，它还被证明可以提高准确性和鲁棒性。每个MIND描述符只计算在一个patch内的距离（一个扫描的局部邻域内）。MIND的比较是以采样

Skr.B·2022-11-27 19:30

论文笔记｜Phraseformer: Multimodal Key-phrase Extraction using Transformer and Graph Embedding

导读这是一篇由伊朗IslamicAzadUniversity和土耳其AyvansarayUniversity的作者共同发表的关键词抽取论文。本文聚焦的是抽取式的关键词预测任务，使用文本的语义表示和图表示进行拼接，从而完成关键词预测的任务。本文在多个公开数据集上做了模型测试，验证了所提出模型的有效性。论文链接一、研究背景关键词抽取任务是自然语言处理中的关键人物，旨在从一段文本中抽取出若干能够概括文本

yanyc428·2022-11-27 10:18

论文阅读（Multimodal Dialog Systems via Capturing Context-aware Dependencies of Semantic Elements）

cx_0401·2022-11-26 10:13

【论文&模型讲解】多模态对话 Multimodal Dialogue Response Generation

文章目录前言0摘要1Introduction2相关工作2.1文本对话回复生成2.2Text-to-Image生成3ProblemFormailzation4Approach4.1多模态Tokenization4.1.1文本Tokenization4.1.2图像Tokenization4.2低资源学习模型4.2.1文本对话回复生成器(TextualDialogueResponseGenerator)

friedrichor·2022-11-26 10:42

MMML-CMU 学习笔记_No.1 Multimodal Introduction

WhatisMultimodal？什么是多模态？多模态可以在数学上被视为多峰分布，峰指的是概率密度函数中的不同“峰值”（局部最大值）但在我们实际生活中，更多的是指多种不同的感知方式，比如气味，触觉，听觉，视觉等等。本门课主要研究交流行为中的多模态问题：语言，声音，视觉多模态与多媒体的区分：模态是某事发生或经历的方式。模态是指某种类型的信息或存储信息的表示格式。多媒体指的是存储或通信的手段或工具。比

CV小Rookie·2022-11-24 21:54

MMML-CMU 学习笔记_No.1.2 Multimodal applications and datasets

从上世纪80年代开始，对多模态的认知与发展已经慢慢从心理学上的“behavioral”阶段进入到“computational”阶段，最先提出Audio-visualspeechrecognition（音视频语音识别）。紧接着由于YouTube等网站视频量的井喷式增长，希望开发基于关键字或者视频内容的搜索（工业推动学术），Content-basedvideoretrieval（基于视频内容检索），V

CV小Rookie·2022-11-24 21:24

MultiModal Machine Learning 笔记_No.0 课程介绍

课程简介：Multimodalmachinelearning(MMML)isavibrantmulti-disciplinaryresearchfieldwhichaddressessomeoftheoriginalgoalsofartificialintelligencebyintegratingandmodelingmultiplecommunicativemodalities,includi

CV小Rookie·2022-11-24 21:53

多模态学习（Multimodal Deep Learning）研究进展综述（转载）

转载：AI综述专栏——多模态学习研究进展综述https://zhuanlan.zhihu.com/p/39878607文章目录一、引言二、主要研究方向及研究进展(一)多模态表示学习(二)模态间映射(三)对齐(四)融合(五)协同学习三、未来研究展望(一)表示学习(二)模态间映射(三)对齐(四)融合(五)协同学习四、结束语参考文献一、引言模态是指人接受信息的特定方式。由于多媒体数据往往是多种信息的传递

landerous·2022-11-23 15:53

Multimodal Federated Learning

作者：YuchenZhao,PayamBarnaghi,HamedHaddadi机构：ImperialCollegeLondon1.Whatdoesliteraturestudy?在本文中，我们提出了一个多模态半监督联邦学习框架，该框架训练自动编码器从客户端不同的本地数据模式中提取共享或相关表示。此外，我们还提出了一种多模态FedAvg算法来聚合在不同数据模式下训练的本地自动编码器。2.What’

缄默的天空之城·2022-11-22 03:56

论文阅读：DEEP CAPTIONING WITH MULTIMODAL RECURRENTNEURAL NETWORKS (M-RNN)

DEEPCAPTIONINGWITHMULTIMODALRECURRENTNEURALNETWORKS(M-RNN)0.summaryreccurentlayer(deepRNN)+wordembeddinglayer=languagemodelpartFutureimprovements:1.usemorebetterdeepneuralnetworktoextractmorebetterwor

weixin_42322020·2022-11-21 22:56

Multimodal Machine Learning:A Survey and Taxonomy

Abstractaim:buildmodelsthatcanprocessandrelateinformationfrommultiplemodalitiesnewtaxonomy:representation,translation,alignment,fusion,andco-learning.INTRODUCTIONthreemodalities:(nlp)naturallanguagewh

辉辉小学生·2022-11-20 20:24

AutoGluon包使用示例（表格、图像与多模态）

的成绩，在房价预测中拿到了第1名的成绩（用到了表格+文本的多模态模型）这里我用员工满意度预测(Table)、ChildrenvsAdultsClassification(Image)、流浪猫收留预测(Multimodal

羽星_s·2022-11-20 13:12

FusionPainting: Multimodal Fusion with Adaptive Attention for3D Object Detection(多模态融合与自适应注意的3D物体检测)

摘要:三维障碍物的精确检测是自动驾驶和智能交通的一项重要任务。在本研究中，我们提出了一个通用的多模态融合框架FusionPainting，在语义层面融合2DRGB图像和3D点云，以增强3D目标检测任务。特别是，FusionPainting框架由三个主要模块组成:多模态语义分割模块、自适应的基于注意的语义融合模块和3D对象检测器。首先，基于二维和三维分割方法获取二维图像和三维激光雷达点云的语义信息;

邱宇-·2022-11-20 11:38

Geometric multimodal representation learning

[2209.03299v1]Geometricmultimodalrepresentationlearning(arxiv.org)https://arxiv.org/abs/2209.03299v1摘要以图为中心的人工智能(GraphAI)在建模自然界中普遍存在的交互系统方面取得了显著的成功，从生物动力学系统到粒子物理。数据的日益异构性需要可以结合多种归纳偏差的图神经架构。然而，结合来自不同来源

小蜗子·2022-11-19 22:16

2.1 Vision-Language Pre-Training for Multimodal Aspect-Based Sentiment Analysis

Vision-LanguagePre-TrainingforMultimodalAspect-BasedSentimentAnalysis1、基本信息作者：YanLing,JianfeiYu,RuiXia会议：ACL2022单位：南京理工大学2、主要框架任务：MultimodalAspect-BasedSentimentAnalysis(MABSA)MultimodalAspectTermExtr

谢桥光·2022-11-19 01:51

论文笔记：Learning Social Image Embedding with Deep Multimodal Attention Networks

感想这篇文章我看了一下作者是北航和微软亚洲研究院合起来做的一篇文章，我感觉最深的是它的那个image-textnetworkembedding的思想，用采样的方法来降低训练的复杂度。这也是一个深度学习注意力模型，更开心的是，论文里面说代码是用keras来写的，论文接收之后会公开源码，还是蛮期待的。文章说的链接关系困扰了我好久，到结尾才说原来是tags之间的关联关系，前面吹得这么高大上，我还真以为他

农民小飞侠·2022-11-19 01:47

[阅读论文] RoCBert: Robust Chinese Bert with Multimodal Contrastive Pretraining

[阅读论文]RoCBert:RobustChineseBertwithMultimodalContrastivePretraining摘要大规模的预训练语言模型在NLP任务上取得了很好的成果。但是，它们已被证明容易受到对抗性攻击，尤其是对于中文等字形语言而言。针对于以上问题，本文提出了ROCBERT:一种经过训练的中文Bert，对各种形式的对抗性攻击(例如单词扰动，同义词，错别字等)具有鲁棒性。它

小千不爱内卷·2022-10-30 07:39

谣言检测论文精度——10.Supervised Contrastive Learning for Multimodal Unreliable News Detection in COVID-19

Abstract作者在这一小节提出了自己关于谣言检测的新见解以及新模型：新闻报道的可信度不应孤立地考虑。相反，可以使用之前发布的关于类似事件的新闻文章来评估新闻报道的可信度。受此启发，我们提出了一个基于BERT的多模式不可靠新闻检测框架，该框架利用对比学习策略从不可靠文章中捕获文本和视觉信息。对比学习者与不可靠新闻分类器进行交互，将相似的可信新闻（或类似的不可靠新闻）推得更近，同时在多模态嵌入空间

头发没了还会再长·2022-10-04 07:08

谣言检测论文精读——9.Multimodal Fusion with Recurrent Neural Networks for Rumor Detection on Microblogs

Abstract我们观察到，除了文本之外，越来越多的用户正在使用图像和视频来发布新闻。推文或微博通常由文本、图像和社交环境组成。在本文中，我们提出了一种新颖的具有注意机制（att-RNN）的递归神经网络，以融合多模态特征以进行有效的谣言检测。在这个端到端网络中，图像特征被结合到文本和社会背景的联合特征中，这些特征是通过LSTM（长短期记忆）网络获得的，以产生可靠的融合分类。Introduction

头发没了还会再长·2022-10-04 07:06

Part2_扩展MATSIM_Subpart4_除个人车外的其他模式_第21章多模式

21.1基本信息文档入口点：http://matsim.org/extensions→multimodal调用模块：http://matsim.org/javadoc→multimodal→RunMultimodalExampleclass21.2

桃桃tao·2022-09-22 13:47

猿创征文｜多模态图像合成和编辑（MISE）：Multimodal Image Synthesis and Editing: A Survey

由于信息在现实世界中以各种形式存在，多模态信息之间的有效交互和融合对于计算机视觉和深度学习研究中多模态数据的创建和感知起着关键作用。近期OpenAI发布的DALLE-2和谷歌发布的Imagen等实现了令人惊叹的文字到图像的生成效果，引发了广泛关注并且衍生出了很多有趣的应用。而文字到图像的生成属于多模态图像合成与编辑领域的一个典型任务。多模态图像合成和编辑在建模多模态信息之间的交互方面具有强大的能力

中杯可乐多加冰·2022-09-21 07:32

Multimodal Machine Learning:A Survey and Taxonomy 多模态机器学习：综述与分类

模态是指某种事物发生或经历的方式，每一种信息的来源或者形式，都可以称为一种模态。当研究问题包括多种这样的形态时，研究问题被描述为多模态。多模态机器学习，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。1.1引言我们周围的世界包含多种形式——我们看到物体，听见声音，感受质地，闻到气味等等。一般来说，模态是指事情发生或经历的方式。大多数人把模态这个词和代表我们交流和感觉的主要渠道即感觉形式联系

zzzzz_ttttt·2022-08-10 07:30

论文笔记：Multimodal Machine Learning: A Survey and Taxonomy

论文笔记：MultimodalMachineLearning:ASurveyandTaxonomy文章目录论文笔记：MultimodalMachineLearning:ASurveyandTaxonomy多模态的历史回顾多模态的五个核心技术挑战多模态表示（Representation）联合表示（JointRepresentations）神经网络概率图形模型顺序表示协调表示基于神经网络图像和语言的顺

林小瓜0327·2022-08-10 07:37

深度学习前沿技术摘要

去马赛克）去雾去雪3D重建风格迁移OCR（光学字符识别）自然语言处理（NLP）文本分类文本标签实体抽取句法依存语义消歧情感分析机器翻译自然语言理解（NLU）观点分析意图提取/识别智能对话生成任务多模态（multimodal

YuCong Wang·2022-08-09 20:50

Multimodal Unsupervised Image-to-Image Translation多通道无监督图像翻译

前言：基于GAN的图像翻译方向一直很火爆，上次介绍了一个无法复现的SketchyGAN，非常失望。这次介绍一个来自英伟达研究院无监督GAN的图像翻译工作MUNIT，下一篇介绍同样是无监督图像翻译工作的《UnsupervisedSketch-to-PhotoSynthesis》比较二者的异同，思考能给现在的工作带来的启发。目录主要贡献方法详解部分共享潜在空间假设

沉迷单车的追风少年·2022-07-28 11:21

2020_ACM MM_MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis

MISA:Modality-Invariantand-SpecificRepresentationsforMultimodalSentimentAnalysis论文地址：https://dl.acm.org/doi/abs/10.1145/3394171.3413678?casa_token=oI8VnZ8Eg10AAAAA:mVUbDA0AZiAXcDxiDmV9-ooRH4PxzlSMXkBC

CityD·2022-07-21 13:05

单细胞分析之细胞注释-1：Azimuth

Azimuth：使用锚点整合的方法对单细胞类型进行预测，可以用于手动细胞注释结果的参考参考网站：https://satijalab.org/seurat/articles/multimodal_reference_mapping.htmlAzimuth

Hayley笔记·2022-07-01 10:58

Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation（翻译）

基于任务感知调制的多模态模型不可知元学习摘要模型不相关的元学习的目的是从相似任务中获得元学习参数，从而只通过少量的梯度更新来适应与任务同分布的新任务。由于在模型选择上的灵活性，这些框架在多个领域上展示了引人注目的性能，比如小样本图像分类和强化学习。然后，这种框架的其中一个重要的限制是它们寻求整个任务分布的公共初始参数，这极大的限制了框架能够学习的任务分布的多样性。在本文中，我们增加了MAML从多模

qq_36514344·2022-06-07 07:28

【论文笔记】Multimodal Conditional Image Synthesis with Product-of-Experts GANs

论文标题：MultimodalConditionalImageSynthesiswithProduct-of-ExpertsGANs论文链接：http://arxiv.org/abs/2112.05130论文代码：https://deepimagination.cc/PoE-GAN/发表时间：2021年12月Abstract现有的条件图像合成框架基于单一模态中的用户输入生成图像，例如文本、分割、草

arXiv每周论文精读速递·2022-02-28 07:15

CS3483 Multimodal Design

CS3483MultimodalInterfaceDesignAssignmentOverviewIntheassignment,youarerequiredtousep5.jsandml5.jstodevelopaninterfaceforviewingandinteractingwithanimage.Theseactionsareperformedbyusingfacedetectionan

·2021-12-09 11:56

CS3483 Multimodal