VQA 第4页

【多模态】《Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering》论文阅读笔记

一、概述这篇文章既做了imagecaption，也做了VQA。所以本文在介绍模型亮点和框架之后，也会对imagecaption和VQA的建模方式进行介绍，因为大多数模型在这两个任务上都是通用的。

CC‘s World·2022-11-22 01:21

Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering 论文精简翻译

摘要自顶向下的视觉注意机制已广泛应用于imagecaption和VQA中。我们提出了一个自底向上和自顶向下相结合的注意力机制，使注意力能够在物体和其他突出的图像区域的水平上进行计算。

小猿外·2022-11-22 01:21

论文分享——Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering

文章目录文章简介1、背景介绍研究背景概念介绍问题描述IC与VQA领域的主要挑战2、相关研究CNN+RNN体系架构AttentionmechanismBottom-UpandTop-DownAttentionBottom-UpAttentionBottom-UpandTop-DownAttentionFasterRCNN3

李霁明·2022-11-22 01:51

VQA v2.0数据集图像问题答案对

一、图片（此图片是来自VQAv2.0数据集下的val2014文件夹下的COCO_val2014_000000000715.jpg）二、问题(question)"""上方图片对应的问题集，保存在VQAv2.0数据集下v2_Questions_Val_mscoco文件夹下的v2_OpenEnded_mscoco_val2014_questions.json文件中"""{"image_id":715,"

pinkshell_1314·2022-11-22 01:50

论文笔记：Bottom-Up and Top-Down Attention for Image Captioningand Visual Question Answering

前言这篇文章是本人第一次看imagecaption相关类型的文章，参考了很多的笔记，但是总有一些地方还是有一些不理解，所以决定自己写一份笔记记录，并且只看imagecaption相关部分，VQA就没有看

詹姆斯德1·2022-11-22 01:14

VL综述：视觉-语言智能:任务、表征学习、大模型

Tasks,RepresentationLearning,andLargeModels目录总结一、INTRODUCTION二、TASKSPECIFICPROBLEMS1.ImageCaptioning2.VQA3

前世忘语·2022-11-21 22:11

R-VQA: Learning Visual Relation Facts with Semantic Attention for Visual Question Answering

博主水平有限，大部分为机翻摘要：最近，视觉问答（VQA）已经成为多模式学习中最重要的任务之一，因为它需要理解视觉和文本模式。

Monster_ixx·2022-11-20 22:58

卷积神经网络训练准确率突然下降_CVPR2019 | 专门为卷积神经网络设计的训练方法：RePr...

introduction，差点以为是modelpruning，看到后面发现是针对卷积神经网络的训练方法，而且这个方法比较简单，但文章通过大量的分析和实验，验证了提出的训练方法非常有效，在cifar、ImageNet、VQA

weixin_39890652·2022-11-20 10:54

VL-BERT: Pre-training of Generic Visual-Linguistic Representations

IntroductionModelArchitecturePre-trainingVL-BERTExperimentsVisualCommensenseReasoning(VCR)VisualQuestionAnswering(VQA

连理o·2022-11-20 04:58

2021CVPR计算机视觉最前沿研究领域多模态（VLP和VQA）

论文地址基于端到端预训练模型的视觉语言表征学习**（VLP和VQA本论文个人认为是继文字识别领域后融合计算机视觉与自然语言最大的技术突破）论文动机当前大多数文章都是先抽取出图像中的显著性区域，再将其与文字一一对齐

Alchemist Notes·2022-11-20 03:22

5分钟让你在大火的多模态领域权威榜单VQA上超越人类

ModelScope上开源了达摩院众多业界最强多模态模型，其中就有首超人类的多模态预训练视觉问答模型mPLUG，小编激动的搓搓小手，迫不及待的体验了一下。一探：浅草才能没马蹄市面上有好多号称“用户上手简单”，“一步到位”，“傻瓜式”，但是真的，如果不懂两三行代码，没有一些机器学习基础，不趟几次浑水，是真的没办法上手的。浅草才能没马蹄，ModelScope真的做到了，一步即可体验，所见即所得，没有任

阿里云技术·2022-11-20 01:03

多模态ViLT模型下游任务微调原理及代码

前言：最近准备搞图文问答VQA，恰巧多模态任务包括了NLP以及CV领域的知识，由于以前做过的一些项目不知道放到哪了，找起来也很麻烦，这篇论文可以帮助我很好的梳理NLP和CV故事线，对此进行总结，以防自己忘记

zy.neu·2022-11-19 14:23

吴琦：AI研究一路走到“黑”，从VQA到VLN

作者|吴琦，阿德莱德大学助理教授本文作者为阿德莱德大学助理教授吴琦，他详细介绍有关从VQA到VLN的详细内容：VLN之来龙去脉篇VLN之任务数据篇VLN之方法创新篇VLN之未来思考篇VLN之广而告之篇正文如下

智源社区·2022-11-19 01:58

视觉答题的方法、数据集和评价指标综述

Asurveyofmethods,datasetsandevaluationmetricsforvisualquestionanswering介绍VQA目前的主要困境VQA的应用特征的提取图像特征的提取

Gao+Ling·2022-09-17 14:57

字节跳动VQScore算法拿下ICME 2021“压缩UGC视频质量评估”比赛第一名

在多媒体领域世界顶级学术会议ICME2021的「压缩UGC视频质量评估」比赛中，字节跳动旗下火山引擎多媒体实验室组成的“QA-FTE”队伍，凭借自研的VQScore算法，拿下了该比赛「无参考视频质量评价（NR-VQA

LiveVideoStack_·2022-09-13 20:57

2022 全球 AI 模型周报

本周介绍了5个计算机视觉领域的SoTA模型，均于最近发表于全球顶会ECCV2022：AVS提出新颖的视听分割任务，kMaX有效利用经典聚类算法进行全景分割，WSG-VQA用弱监督学习Transformer

·2022-09-09 15:23

【ModelScope】5分钟让你在大火的多模态领域权威榜单VQA上超越人类

简介：ModelScope上开源了达摩院众多业界最强多模态模型，其中就有首超人类的多模态视觉问答模型mPLUG，小编从页面体验（一探）、开发体验（二探）、开放测试（三探）来探究多模态预训练模型能力。ModelScope上开源了达摩院众多业界最强多模态模型，其中就有首超人类的多模态预训练视觉问答模型mPLUG，小编激动的搓搓小手，迫不及待的体验了一下。一探：浅草才能没马蹄市面上有好多号称“用户上手简

·2022-09-07 15:20

声网 VQA：将实时互动中未知的视频画质用户主观体验变可知

在实时互动场景中，视频画质是影响观众体验的关键指标，但如何实时评价视频的画质一直是个行业难题，需要将未知的视频画质用户主观体验变成可知。未知的部分往往是最需要攻克的，声网也一直在持续探索符合实时互动领域的视频画质评价方法，经过声网视频算法专家的持续钻研，正式推出了业内首个可运行于移动设备端的视频画质主观体验MOS分评估模型。利用先进的深度学习算法，实现对实时互动场景中视频画质主观体验MOS分（平均

·2022-06-27 23:18

神经网络之 CNN 与 RNN 的关系

本文主要是对CNN和RNN的理解，通过对比总结各自的优势，同时加深自己对这方面知识的理解，其中代码引用采用的是VQA模型中对图像和文本的处理。1、CNN介绍CNN是一种利用卷积计算的神经网络。

数据派THU·2022-06-10 07:54

【多模态】《High-Order Attention Models for Visual Question Answering》论文阅读笔记

这篇文章做的是VQA。同时，这篇文章集成了基于attention的多模态融合方法和基于双线性池化的多模态融合方法，为做VQA等多模态任务提供了很好的思路。模型比较简单，但高效。

CC‘s World·2022-05-28 15:19

大家谈的视频体验指标，都有哪些？如何测定？

在之前一篇的DevforDev专栏中，我们的工程师分享了声网的无参考视频评价体系（VQA）的建立与实践经验。建立一套VQA体系需要一个较长的过程，在那之前，大家仍然有很多方法可以来判断实时视频的质量。

·2022-05-20 21:17

NLP教程(7) - 问答系统

本文介绍NLP中的问答系统（QuestionAnswering），包括NLP中的问答系统场景、动态记忆网络（DynamicMemoryNetworks）、问答（QA）、对话、MemNN、DCN、VQA等

ShowMeAI·2022-05-11 23:00

【文献阅读】VQA的综述：方法和数据集（Q. Wu等人，Computer Vision and Image Understanding，2017）

一、文章背景文章题目：《Visualquestionanswering:Asurveyofmethodsanddatasets》这篇文章算是早期比较经典的VQA综述之一了。作者是来自沈春华老师团队。

全部梭哈迟早暴富·2022-05-03 07:22

2021：AdaVQA: Overcoming Language Priors with Adapted Margin Cosine Loss∗自适应的边缘余弦损失解决语言先验

摘要现有的VQA模型都有严重的语言先验问题，然而，尽管现有VQA方法都将VQA视为一个分类任务，但是目前还没有研究从答案特征空间学习的角度解决此问题。

weixin_42653320·2022-04-29 12:43

Hierarchical Co-Attention for Visual Question Answering----代码细读

该代码不是原作者写的，原作者用的是torch,源码地址：https://github.com/jiasenlu/HieCoAttenVQA本文用到的源码地址：https://github.com/karunraju/VQA

snow5618·2022-03-29 07:38

【论文阅读】Beyond OCR + VQA: 将OCR融入TextVQA的执行流程中形成更鲁棒更准确的模型

论文题目：BeyondOCR+VQA:InvolvingOCRintotheFlowforRobustandAccurateTextVQA论文链接：https://dl.acm.org/doi/abs/

HongmingYou·2021-11-26 01:00

13.2 Question Answering 问答系统意境级讲解

文章目录一、QA1匹配+抽取式问题1、数据集2、问题对文章的注意力Query-to-contextAttention第一版第二版VQA单跳模型中的词引导空间注意两跳模型中的空间注意3、文章对问题的注意力

炫云云·2021-05-10 21:51

【文献阅读】VQA-E——一种对预测答案解释的模型和数据集（Q. Li等人，ECCV，2018）

一、文章背景文章题目《VQA-E:Explaining,Elaborating,andEnhancingYourAnswersforVisualQuestions》文章下载地址：http://openaccess.thecvf.com

全部梭哈一夜暴富·2021-05-08 22:15

【VQA文献阅读】VQS：将语义分割与视觉问答结合起来（ICCV2017）

VQS:LinkingSegmentationstoQuestionsandAnswersforSupervisedAttentioninVQAandQuestion-FocusedSemanticSegmentation文章目录VQS:LinkingSegmentationstoQuestionsandAnswersforSupervisedAttentioninVQAandQuestion-F

Leokadia Rothschild·2021-05-01 17:48

【文献阅读】GraphVQA——语言导向的GNN解决场景图的问答（Weixin Liang等人，ArXiv，2021）

背景文章题目：《GraphVQA:Language-GuidedGraphNeuralNetworksforSceneGraphQuestionAnswering》和【文献阅读】LRTA——图网络解释VQA

全部梭哈迟早暴富·2021-04-28 10:04

文献阅读（十四）：面向深度学习的视觉问答技术的分析

文献阅读（十四）：面向深度学习的视觉问答技术的分析摘要引言1视觉问答技术2视觉问答模型分类2.1联合嵌入模型2.2注意力机制模型2.3基于外部知识的模型3相关公开数据集的分析4小结主要内容：简单介绍了应用在VQA

Laura_Wangzx·2021-04-26 10:39

一个github代码片段（lstm和gru）

编写不易如果觉得不错，麻烦关注一下~代码段来自https://github.com/linjieli222/VQA_ReGAT/blob/master/model/language_model.py调用的库里的

dong炫·2021-04-24 12:04

Bilinear Attention Networks 代码记录

（改成了使用torch.matmul主要是为了将代码和论文公式对应上，也验证了计算的结果应该是一致的）源码来源：https://github.com/jnhwkim/ban-vqa以下代码位于此处，其中

Curya·2021-04-19 16:17

【文献阅读】能兼顾图像理解和推理能力的VQA模型（CVPR，2019）

一、文章概况文章题目：《AnswerThemAll!TowardUniversalVisualQuestionAnsweringModels》文章下载地址：http://openaccess.thecvf.com/content_CVPR_2019/papers/Shrestha_Answer_Them_All_Toward_Universal_Visual_Question_Answering_

全部梭哈一夜暴富·2021-04-02 22:25

统计图表的Captioning和VQA——一些论文笔记

目录DVQA:UnderstandingDataVisualizationsviaQuestionAnswering(CVPR2018)ChartOCR:DataExtractionfromChartsImagesviaaDeepHybridFramework(WACV2021)AnsweringQuestionsaboutDataVisualizationsusingEfficientBimod

子鱼inf_lyceum·2021-02-18 20:24

【VQA文献阅读】PATHVQA: 30000+ QUESTIONS FOR MEDICAL VISUAL QUESTION ANSWERING

【VQA文献阅读】PATHVQA:30000+QUESTIONSFORMEDICALVISUALQUESTIONANSWERING原文地址：https://arxiv.org/abs/2003.10286ABSTRACTIsitpossibletodevelopan

Leokadia Rothschild·2021-02-09 11:59

【VQA文献阅读】VQA-Med: Overview of the Medical Visual Question Answering Task at ImageCLEF 2019

VQA-Med:OverviewoftheMedicalVisualQuestionAnsweringTaskatImageCLEF2019文章地址：http://ceur-ws.org/Vol-2380

Leokadia Rothschild·2021-02-09 11:28

[VQA文献阅读] FloodNet: A High Resolution Aerial Imagery Dataset for Post Flood Scene Understanding

背景文章题目：《FloodNet:AHighResolutionAerialImageryDatasetforPostFloodSceneUnderstanding》文章下载：https://arxiv.org/pdf/2012.02951.pdfAbstractVisualsceneunderstandingisthecoretaskinmakinganycrucialdecisioninany

Leokadia Rothschild·2021-02-07 18:24

「AAAI2021」Image Captioning 图像描述生成，性能SoTA！

这里简单介绍自己第一篇被接受的一作工作《Duel-LevelCollaborativeTransformerforImageCaptioning》，代码已开源在这里，小伙伴们快来star~ImageCaptioning和VQA

luputo·2021-01-30 22:08

多模态阅读笔记 Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning

NoiseEstimationUsingDensityEstimationforSelf-SupervisedMultimodalLearning这篇文件讲的是，按照现有多模态的任务，往往会出现噪音的问题，噪声使得模型一直得不到最好结果，而这篇文章提出一个去噪方法，自监督的去训练一个去噪模块来消除噪声，实验结果显示，用此方法，能够直接提高VQA

B站：阿里武·2021-01-12 22:25

2021-01-03

用于视觉问题回答的紧凑三线性交互模型《CompactTrilinearInteractionforVisualQuestionAnswering》Tiám青年2020-01-1811:59:42303收藏分类专栏：计算机视觉VQA

幽灵机器学习·2021-01-03 18:12

Relation-Aware Graph Attention Network for Visual Question Answering阅读笔记

Abstract这篇论文的工作以一个新的维度为中心，使用问题自适应的对象间关系丰富图像表示，以提高VQA性能。

这篇博客这样写·2020-11-30 21:59

AAAI 2020 | 视觉问答方法中引入再注意机制

作者在文章中提出了一种用于处理VQA任务的再注意模式，该模式充分利用答案中的信息使关键问题相关内容在视觉图像中得到准确的关注。

qq2648008726·2020-09-12 23:23

A SUBJECTIVE VISUAL QUALITY ASSESSMENT METHOD OF PANORAMIC VIDEOS

2.利用对观看方向的一致性分析，提出了一种新的全景视频主观VQA（videoqualityassessment视频质量评价）方法。一致性分析：发现1：当观看全景视频时，受试者在赤道附近观

真理无穷·2020-09-11 23:10

Overcoming Language Priors in Visual Question Answering with Adversarial Regularization阅读笔记

现代视觉问答（VQA）模型已被证明严重依赖于训练期间所学的问答词之间的表面关联性，而与图像无关。本文提出了一个新的规则化方案，以减少这种影响。

untitled713·2020-09-10 18:07

Overcoming Language Priors in VQA via Decomposed Linguistic Representations阅读笔记

大多数现有的可视问答（VQA）模型过分依赖于问答之间的语言优先级。