Captioning）

CS231n Spring 2019 Assignment 3—vanilla RNN/LSTM for image captioning

Assignment3的前两个就是RNN_Captioning.ipynb和LSTM_Captioning.ipynb，这两个主要就是利用RNN（RecurrentNeuralNetwork循环神经网络
赖子啊·2020-03-30 12:05

Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering 论文精简翻译

摘要自顶向下的视觉注意机制已广泛应用于imagecaption和VQA中。我们提出了一个自底向上和自顶向下相结合的注意力机制，使注意力能够在物体和其他突出的图像区域的水平上进行计算。在我们的方法中，自底向上的机制(基于FasterR-CNN)提取图像区域，每个区域有一个对应的特征向量，而自顶向下的机制确定特征权重。用这个模型我们获得了2017年VQA挑战赛的第一名。1.介绍视觉注意机制被广泛应用于
二十三冰芒·2020-03-02 11:24

Desne-Captioning Events in Videos

模型中分为两部分：1.proposal模块：检测视频中的proposal区域2.captioning模块：将proposal模块的结果作为输入，输出整个视频的captioning结果。
BigBig_Fish·2019-11-29 07:43

Video Paragraph Captioning Using Hierarchical Recurrent Neural Networks笔记

在以前的videocaptioning解决方法中，绝大部分都是生成短短的一句话，并不能很好的概括视频中的详细内容，论文中提出了采用分级RNN的方法，先利用sentencegenerator产生句子，在上面叠加一层paragraphgenerato产生段落。在sentencegenerator中加入了时间和空间的attention机制。整体结构如下：SentenceGenerator图中（a）部分为
BigBig_Fish·2019-11-29 04:14

CS231n Spring 2019 Assignment 3—vanilla RNN/LSTM for image captioning

vanillaRNN/LSTMforimagecaptioningVanillaRNNVanillaRNN:stepforward/backwardVanillaRNN:forward/backwardWordembedding:forward/backwardRNNforimagecaptioningTest-timesamplingLSTM(LongShortTermMemory)LSTM:s
laizi_laizi·2019-09-22 09:00

一文全解Image Captioning中常用的自动度量

一文全解ImageCaptioning中常用的自动度量为了高效度量imagecaptioning模型的效果，我们需要引入各种自动度量，这些有的是从机器翻译中借鉴的，有的是为了imagecaptioning专门提出的，本文主要介绍几个常用的imagecaptioningmetric，它们是BLEU、ROUGE、METEOR、CIDEr和SPICETerminology我们规定将captioner生成
luputo·2019-09-17 14:03

Context driven entity-aware captioning for news images》笔记

这篇文章能够利用与图像相关的新闻文章的文本来提供上下文信息。这个模型能够有选择的从由视觉线索引导的文章中提取信息，并且动态的将输出字典拓展到出现在上下文源中的词典外的命名实体。同时作者还提出了一个新闻图像描述数据集“GoodNews”。用于上下文驱动的实体感知描述的模型由两个连续阶段组成：(1)输入图像和对应的新闻文本，生成一个句子模板，其中占位符用来指示命名实体的位置；(2)在整个文章上的注意力
王权大宝·2019-07-26 16:05

《Self-critical Sequence Training for Image Captioning》笔记

CVPR2017《Self-criticalSequenceTrainingforImageCaptioning》这篇文章提出了一个新的基于强化学习的图像描述方法的目标函数，解决的传统目标函数曝光偏差的问题，流程如下所示：序列生成可以看作一个强化学习的问题，生成序列的LSTM看作一个“智能体”，单词和图像特征看作“环境”，网络参数定义为“策略”，最后推测的“动作”就是预测的下一个单词。每个动作之后
王权大宝·2019-07-02 22:08

Self-critical Sequence Training for Image Captioning

Self-criticalSequenceTrainingforImageCaptioning原文地址时间：2017Intro近年来策略梯度（policy-gradient）在训练深度端到端系统上展现了它的能力，它可以以不可导的度量作为目标函数，本文考虑的问题就是使用强化学习来训练imagecaptioning模型，称为self-criticalsequencetraining(SCST)，它是一
luputo·2019-06-14 17:16

《Learning Object Context for Dense Captioning》笔记

CVPR2019《LearningObjectContextforDenseCaptioning》是针对密集描述提出的方法，密集描述类似目标检测，需要定位图像中的感兴趣的区域，还要为区域生成描述。这篇文章提出了一个新的架构来为每个描述区域学习一个互补对象上下文。首先检测一系列对象，逐步在LSTM中输入这些对象，每一步都根据先前的状态和当前输入决定是否保留当前信息，最终输出学习的上下文。用这个上下文
王权大宝·2019-06-10 22:31

《Stack-Captioning: Coarse-to-Fine Learning for Image Captioning》笔记

AAAI2018《Stack-Captioning:Coarse-to-FineLearningforImageCaptioning》提出了一个由粗到细的多级预测架构——堆叠注意力模型，由多个解码器组成
王权大宝·2019-05-14 11:27

Improving Image Captioning with Conditional Generative Adversarial Nets理解

ChenC,MuS,XiaoW,etal.ImprovingImageCaptioningwithConditionalGenerativeAdversarialNets[J].2018.一、前言图像标注（imagecaptioning）是一门综合计算机视觉和自然语言处理的深度学习研究，相比于图像分类（imageclassification）、目标检测（objectdetection）和语义分割（
dreamweaverccc·2019-05-07 17:45

《Image Captioning with Semantic Attention》笔记

cvpr2016图像描述有两种基本模式：top-down和bottom-up。top-down模式就是从图像的一个要素出发，转化它为单词，这类方法很难注意细节。bottom-up模式首先提出描述图像各个方面的单词，然后组合这些单词，这类方法从独立的方面形成句子，缺少端到端形式的训练。此外，人们描述图像时倾向于谈论图像中语义上更重要的区域或目标对象。《ImageCaptioningwithSeman
王权大宝·2019-04-09 12:33

《GroupCap: Group-based Image Captioning with Structured Relevance and Diversity Constraints》论文笔记

CVPR2018腾讯团队目前，大多数图像描述工作都是基于单个图像的在线描述，忽略了群组图像之间的关联度和多样性。在许多真实世界的应用程序中，如描述相册或事件，图像不适合单独描述。《GroupCap:Group-basedImageCaptioningwithStructuredRelevanceandDiversityConstraints》这篇论文提出提了基于群组的图像描述架构：GroupCap
王权大宝·2019-03-25 22:28

《Knowing When to Look: Adaptive Attention via A Visual Sentinel for Image Captioning》笔记

CVPR2017基于注意力的编码器-解码器架构的图像理解方法大多强制注意力机制对生成的每个单词都生效，但预测“the”、“a”这类非视觉词汇不需要太多的信息。《KnowingWhentoLook:AdaptiveAttentionviaAVisualSentinelforImageCaptioning》文章中提出了一个带有“视觉哨兵”概念的新兴型自使用注意力模型。在每个时间步骤，模型决定关注图像本
王权大宝·2019-03-11 15:38

Text-Guided Attention Model for Image Captioning

Inourapproach,weleverageaguidancecaptionsasassociatedtextlanguagetosteervisualattention.Ourimagecaptioningnetworkistrainedtominimizethefollowingloss:1.给定一张图片，从训练集中选择一张相似的图片和一条描述2.相似的图片和描述aretransforme
lkangkang·2019-02-28 21:58

Show and Tell: Lessons learned from the 2015 MSCOCO Image Captioning Challenge

论文地址：https://arxiv.org/abs/1609.066471.Introduction自动识别图像内容并转化为描述比研究得很好的图像分类或对象识别任务要困难得多，后者一直是计算机视觉界的主要关注点。事实上，描述不仅必须捕获图像中包含的对象，还必须描述这些对象如何相互关联，以及它们的属性和所涉及的活动。此外，上述语义知识必须以英语等自然语言表达，这意味着除了视觉理解之外，还需要一种语
不晓得X·2019-01-04 17:49

[论文列表] Image Captioning 领域论文整理

本文整理了ImageCaptioning图像描述领域相关的论文以及链接，同时我的GitHub仓库也将持续进行更新，方便对ImageCaptioning领域感兴趣的小伙伴进行学习和交流，欢迎大家Star和Fork.:DContents2010I2t:Imageparsingtotextdescription-YaoBZetal,PIEEE2011.2011Im2Text:DescribingImag
zhjohnchan·2018-08-16 20:00

《Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering》

《Bottom-UpandTop-DownAttentionforImageCaptioningandVisualQuestionAnswering》来源：CVPR2018参考CSDN博客：论文笔记：Bottom-UpandTop-DownAttentionforImageCaptioningandVisualQuestionAnsweringblog.csdn.net一、Introduction
黄鑫huangxin·2018-08-16 10:15

论文笔记：Knowing When to Look:Adaptive Attention via A Visual Sentinel for Image Captioning

这篇文章首先认为，非视觉词比如the,of等的挖掘，并不需要视觉信息，它们的梯度反而会影响到视觉信息的有效性，因此该文引进一个参数，来控制attention中视觉信息和历史信息的比重，作者设计了蕴含历史信息的visualsentinel，来表示已生成文本的历史信息。相当于从时间的维度来决定什么时候看，看多少。此外，作者还改变了空间attention机制。首先，作者提出了改进的spatialatte
lifeGWT·2018-08-10 10:42

7-30备忘

fileexchange/6678-stlread论文展望部分加上图像标注ImageCaptionhttps://github.com/sgrvinod/a-PyTorch-Tutorial-to-Image-Captioning
_Lucask·2018-07-31 11:19

论文笔记：Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering

题目：Bottom-UpandTop-DownAttentionforImageCaptioningandVisualQuestionAnswering作者:PeterAnderson,XiaodongHe,ChrisBuehler,DamienTency论文地址[https://arxiv.org/abs/1707.07998]1.解决的问题ImageCaptioning和VQA2.方法Top-
会唱小星星吗·2018-07-20 10:18

CVPR 2015 Image Caption: Deep Visual-Semantic Alignments for Generating Image Descriptions

（2）对图片进行描述(Captioning)2.方法针对要解决的问题（1）,采用了RC
维他柠檬茶好喝吗·2018-07-19 20:43

CVPR 2015 Image Caption: Deep Visual-Semantic Alignments for Generating Image Descriptions

（2）对图片进行描述(Captioning)2.方法针对要解决的问题（1）,采用了RC
维他柠檬茶好喝吗·2018-07-19 20:43

CVPR 2018 Oral：Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering

题目：Bottom-UpandTop-DownAttentionforImageCaptioningandVisualQuestionAnswering作者:PeterAnderson,XiaodongHe,ChrisBuehler,DamienTency论文地址[https://arxiv.org/abs/1707.07998]1.解决的问题ImageCaptioning和VQA2.方法Top-
维他柠檬茶好喝吗·2018-07-19 20:56

CVPR 2018 Oral：Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering

题目：Bottom-UpandTop-DownAttentionforImageCaptioningandVisualQuestionAnswering作者:PeterAnderson,XiaodongHe,ChrisBuehler,DamienTency论文地址[https://arxiv.org/abs/1707.07998]1.解决的问题ImageCaptioning和VQA2.方法Top-
维他柠檬茶好喝吗·2018-07-19 20:56

cs231n'18： Assignment 3 | RNN Captioning

Assignment3|RNNCaptioning这部分实际上做了两件事情，首先建立一个RNN，然后以此RNN为基础，训练一个模型来完成图片caption的工作。我感觉作业中的代码先后顺序有些混乱，这里依照自己的理解，把内容重新组织一下。Datasettrain和val使用的是Coco2014，从打印出来的data信息来大概浏览一下数据的构成。train_captions(400135,17)in
FortiLZ·2018-07-06 01:46

CV之IC： 图像描述(Image Captioning) 的简介、使用方法、案例应用之详细攻略

CV之IC：图像描述(ImageCaptioning)的简介、使用方法、案例应用之详细攻略目录图像描述(ImageCaptioning)的简介1、常用数据集2、评价指标3、循环神经网络4、应用图像描述(ImageCaptioning)的使用方法图像描述(ImageCaptioning)的案例应用图像描述(ImageCaptioning)的简介1、常用数据集Flickr8K、Flickr30K、MS
一个处女座的程序猿·2018-05-04 10:25

NIPS 2017论文解读 | 基于对比学习的Image Captioning

在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速get每篇精选论文的亮点和痛点，时刻紧跟AI前沿成果。点击本文底部的「阅读原文」即刻加入社区，查看更多最新论文推荐。这是PaperDaily的第45篇文章本期推荐的论文笔记来自PaperWeekly社区用户@jamiechoi。本文提出了一种将对比学习（CL）用于ImageCaptioning的方法，通
Paper_weekly·2018-02-28 00:00

Video captioning with recurrent networks based on frame- and video-level features and visual content

Videocaptioningwithrecurrentnetworksbasedonframe-andvideo-levelfeaturesandvisualcontentclassificationRakshithShetty,JormaLaaksonen(Submittedon9Dec2015)Inthispaper,wedescribethesystemforgeneratingtextu
算法学习者·2017-06-11 10:40

Deep Learning for Video Classification and Captioning

DeepLearningforVideoClassificationandCaptioningZuxuanWu,TingYao,YanweiFu,Yu-GangJiang(Submittedon22Sep2016)AcceleratedbythetremendousincreaseinInternetbandwidthandstoragespace,videodatahasbeengenerate
算法学习者·2017-06-11 10:48

Deep Reinforcement Learning-based Image Captioning with Embedding Reward

https://arxiv.org/abs/1704.03899Imagecaptioningisachallengingproblemowingtothecomplexityinunderstandingtheimagecontentanddiversewaysofdescribingitinnaturallanguage.Recentadvancesindeepneuralnetworksha
算法学习者·2017-04-14 11:02

【论文笔记】Show and Tell: Lesson learned from the 2015 MSCOCO Image Captioning Challenge

AK在其开源的neuraltalk和neuraltalk2项目中和此模型进行比较其相似之处，并承认说“buttheGooglereleaseshouldworksignificantlybetterasaresultofbetterCNN,sometricks,andmorecarefulengineering.“那今天就以此出发，比较一下NIC(NeuralImageCaption)模型有什么好
Issac_33·2017-03-13 17:13

论文笔记之---DenseCap：Fully Convolutional Localization Networks for Dense Captioning

Abstract：文中介绍了密集字幕任务，它包含定位及利用自然语言描述定位物体两个主要任务。为了同时解决物体定位和对其进行描述这两个任务，文中提出FullyConvolutionalLocalizationNetwork，简称FCLN。它由一个卷积网络，一种新的密集定位层，和一个产生标签序列的RNN语言模型组成。一.介绍在过去的几年中，图像分类已经取得了很大的进展。进一步的研究工作主要沿着两个完全
He_is_all·2017-02-10 20:56

CNN-LSTM Image Captioning

Google基于CNN+RNN开发了一个ImageCaptionGenerator:http://bengio.abracadoudou.com/cv/publications/pdf/vinyals_2015_cvpr.pdf这个工作主要受到了基于RNN的机器翻译的启发。在机器翻译中，“encoder”RNN读取源语言的句子，将其变换到一个固定长度的向量表示，然后“decoder”RNN将向量表
Mandddy·2016-08-23 16:38

Accessibility Comment

(stillcan'tfinditsuses),toenableit:subtitles&Captioning>ClosedCaptions+SDH GuideAccess 引导式访问，singleappmode
shappy1978·2016-03-03 08:49

荐歌：冯建聪《求婚密语》，显示歌词，求婚者必会

-- A <div> window for the SAMI captioning, 'id=cc' is specified for 'captioningID' parameter --
yzd·2006-06-04 20:00

荐歌：刘力扩《毕业了》网页上带歌词显示

-- An embedded Windows Media Player object with SAMI closed captioning --> <!
yzd·2006-06-02 19:00
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他