Captioning）

勿停留

likecharacter喜欢的角色looksthup查catchaword记住一个词captioning字幕bothersme让我困扰detrimental有害的

爱生活的小雨·2024-02-14 20:46

【Image captioning】论文阅读八—ClipCap: CLIP Prefix for Image Captioning_2021

中文标题：ClipCap:CLIP前缀用于图像描述（ClipCap:CLIPPrefixforImageCaptioning）文章目录1.介绍2.相关工作3.方法3.1综述3.2语言模型微调3.3映射网络架构3.4推理4.结果5.结论摘要：图像描述是视觉语言理解中的一项基础任务，模型会对给定的输入图像预测出一段文本信息性描述。本文提出了一种简单的方法来解决这个任务。我们使用CLIP编码作为描述的前

安静到无声·2024-01-28 08:33

【Image captioning】论文阅读七—Efficient Image Captioning for Edge Devices_AAAI2023

中文标题：面向边缘设备的高效图像描述（EfficientImageCaptioningforEdgeDevices）文章目录1.引言2.相关工作3.方法3.1ModelArchitecture（模型结构）3.2ModelTraining(模型训练)3.3KnowledgeDistillation（知识蒸馏）4.实验4.1数据集和评价指标4.2实施细节：4.3消融实验

安静到无声·2024-01-26 11:30

Exploring Visual Relationship for Image Captioning

ExploringVisualRelationshipforImageCaptioning论文地址时间：2018年Intro尽管当前存在很多CNN+RNN模型，还有一个未被充分研究的问题，即如何利用视觉关系来帮助imagecaptioning。本文提出了一个GCN-LSTM模型，如图所示Contribution本文的主要贡献是提出了对视觉关系的使用Model本文通过结合目标在语义上的和空间上的关系

luputo·2024-01-21 21:34

论文阅读【SWINBERT: End-to-End Transformers with Sparse Attention for Video Captioning】

SWINBERT:End-to-EndTransformerswithSparseAttentionforVideoCaptioning发表：CVPR2022idea：之前的方法都是使用其他任务上训练的特征提取器对video进行特征提取，所提取的特征可能与视频描述任务并不是绝对的匹配，即特征提取不参与训练。这篇文章的作者提出使用transformer对原生视频进行特征提取，然后再进行解码，实现端到

hei_hei_hei_·2024-01-21 12:38

详解a-PyTorch-Tutorial-to-Image-Captioning-master代码中的model模型，此代码是对show attend and tell论文的复现，基于Pytorch

代码的下载地址：https://github.com/sgrvinod/a-PyTorch-Tutorial-to-Image-Captioning代码的调试请参考：（强！）

冰岛小贤·2024-01-10 03:44

huggingface报错记录

Unabletoloadweightsfrompytorchcheckpointfilefor'/mnt/workspace/wzf/transformer/model/vit-gpt2-image-captioning

小趴菜日记·2023-12-23 07:49

视频分类（Classification）和摘要（Captioning）总结

想象力比知识更重要。----爱因斯坦论文：DeepLearningforVideoClassificationandCaptioning视频分类是指将大量的视频数据按照一定的标准和规则进行分类和归类，以便于用户快速找到自己感兴趣的视频内容。视频分类可以基于不同的特征和属性进行，例如内容主题、风格、语言、地域等。常见的视频分类包括电影、电视剧、纪录片、动画片、体育赛事、音乐视频等。视频摘要是从一个较

watersink·2023-12-21 10:43

大数据AI人工智能培训专家培训讲师叶梓·2023-11-19 01:51

CoCa论文笔记

本文提出的CoCa（ContrastiveCaptioner），一个极简设计，结合对比损失和captioning损失预训练一个image-textencoder-decoder基础模型，该模型包含对比方法

hello_dear_you·2023-11-03 18:28

通俗讲解看图说话（Image Captioning）和视觉问答（VQA）任务

“看图说话”之ImageCaptioning问题介绍ImageCaptioning任务的定义是对一幅图片生成相对于图片内容的文本描述。一个AI系统不仅需要对图片进行识别，也需要理解和解释看到的图片内容，并且能够像人一样描述出图片中的对象之间的关系。-输入：一张图片-输出：一句文本描述最早的imagecaptioning系统是2014年Circa提出的，该系统使用多层感知系统（multi-layer

top_小酱油·2023-10-30 15:25

「BLIP 微调指南」以 Image-Text Captioning 任务为例

前言：近日需要用到BLIP微调下游任务，搜索发觉如今并无BLIP微调教程，下面就以Image-TextCaptioning任务为例，演示如何完成BLIP模型在自己数据集上的微调。目录1.BLIP介绍2.关键代码定位3.关键参数赋值4.模型定义&使用1.BLIP介绍相关论文：BLIP:BootstrappingLanguage-ImagePre-trainingforUnifiedVision-La

_Meilinger_·2023-10-22 12:18

A Comprehensive Survey of Deep Learning for Image Captioning--图像描述深度学习综述

原文地址：https://arxiv.org/abs/1810.04020翻译走起，第一次翻译文献，可能是一顿ctrl+c，ctrl+v在加上百度翻译的操作吧，如有问题和建议，欢迎留言。imagecaptioning根据个人喜好翻译成图像描述，其他什么图像字幕，图像标题生成，whatever，大家随意好了。图像描述深度学习综述图像描述的定义：Generatingadescriptionofanim

lucky_susu·2023-10-04 03:39

【image captioning】CaMEL: Mean Teacher Learning for Image Captioning（实现流程）

CaMEL:MeanTeacherLearningforImageCaptioning（实现流程）作者：安静到无声个人主页目录CaMEL:MeanTeacherLearningforImageCaptioning（实现流程）环境设置数据准备Evaluation训练程序推荐专栏参考代码:CaMEL:MeanTeacherLearningforImageCaptioning.环境设置克隆存储库并使用“

安静到无声·2023-10-04 03:38

Image captioning数据集、评价指标和算法性能比较

Imagecaptioning数据集、评价指标和算法性能比较作者：安静到无声个人主页目录Imagecaptioning数据集、评价指标和算法性能比较1数据集2.评价指标3.算法性能比较推荐专栏1数据集基于深度学习的图像描述算法能够得到迅速发展，很大成度得益于大规模数据集的出现。数据集不仅是衡量和比较图像描述算法性能的重要依据，也是将图像描述算法推向越来越复杂、越来越具有实用性方向的强大动力。图像描

安静到无声·2023-10-01 17:55

【image captioning】自定义image captioning数据集的格式整理（完整版）

自定义imagecaptioning数据集的格式整理（完整版）作者：安静到无声个人主页目录自定义imagecaptioning数据集的格式整理（完整版）1.数据集的整理1.1将原始文件合并到uic_new_split（保证验证集和测试集数据是同步的）1.1.1将原始测试集，验证集和训练集合并1.1.2统计图片个数1.1.3复制异常图片1.2将合并文件划分新的训练，验证与测试1.2.1创建文件夹（训

安静到无声·2023-09-30 18:30

（2023，LENS & 视觉模型 & LLM）迈向可见的语言模型：通过自然语言的镜头来看计算机视觉

ComputerVisionThroughtheLENSofNaturalLanguage公众号：EDPJ（添加VX：CV_EDPJ进交流群获取资料）目录0.摘要1.简介2.相关工作2.1大语言模型能力2.2解决视觉和语言任务的对比模型2.3用于视觉应用的大型语言模型2.3.1图像标题（Captioning

EDPJ·2023-09-18 22:47

【Image captioning】 Collaborative Transformer for Image Captioning实现流程

Dual-LevelCollaborativeTransformerforImageCaptioning实现流程(原始代码的readme)作者：安静到无声个人主页目录Dual-LevelCollaborativeTransformerforImageCaptioning实现流程(原始代码的readme)实验设置数据准备训练评价参考致谢推荐专栏论文地址：https://arxiv.org/pdf/2

安静到无声·2023-09-12 12:45

【Image captioning】Meshed-memory transformer在自定义数据集的训练与调试

Meshed-memorytransformer在自定义数据集的训练与调试作者：安静到无声个人主页目录Meshed-memorytransformer在自定义数据集的训练与调试模型训练模型测试推荐专栏模型训练train函数主要包含如下参数：ArgumentPossiblevalues–exp_name实验名字–batch_sizeBatchsize(default:10)–workersNumbe

安静到无声·2023-09-05 10:21

05.Image Captioning with Semantic Attention

目录前言泛读摘要Introduction创新/贡献点RelatedWork精读输入的注意力模型输出的注意力模型模型学习视觉属性/概念预测实验MS-COCO的性能实验分析Conclusion代码略前言本课程来自深度之眼《多模态》训练营，部分截图来自课程视频。文章标题：ImageCaptioningwithSemanticAttention神经图像描述生成作者：QuanzengYou等单位：罗切斯特大

oldmao_2000·2023-09-04 05:56

【Image captioning】ruotianluo/self-critical.pytorch之3—测试脚本test.py

【Imagecaptioning】ruotianluo/self-critical.pytorch之3—测试脚本test.py作者：安静到无声个人主页写在前面：本节详细介绍了ruotianluo/self-critical.pytorch中的tools/test.py模型，包括代码解析和实现细节等方面。读者将全面深入地了解该模型的特点和优势，并能够运用所学知识进行高质量的代码实现。这是一个必不可少

安静到无声·2023-08-29 16:09

cs231n assignmen3 Extra Credit: Image Captioning with LSTMs

文章目录嫌墨迹直接看代码ExtraCredit:ImageCaptioningwithLSTMslstm_step_forward题面解析代码输出lstm_step_backward题面解析代码输出lstm_forward题面解析代码输出lstm_backward题面解析代码输出CaptioningRNN.loss解析代码输出最后输出结语嫌墨迹直接看代码ExtraCredit:ImageCapti

理智点·2023-08-28 18:57

cs231n assignment3 q3 Image Captioning with Transformers

文章目录先啰嗦直接看代码Q3ImageCaptioningwithTransformersMultiHeadAttention.forward题面解析代码输出PositionalEncoding题面解析代码输出transformer.forward题面解析代码输出先啰嗦直接看代码Q3ImageCaptioningwithTransformersMultiHeadAttention.forward题

理智点·2023-08-28 18:55

【Image captioning】ruotianluo/self-critical.pytorch之2—Newfc网络模型的解析（for image captioning）

【Imagecaptioning】ruotianluo/self-critical.pytorch之2—Newfc网络模型的解析（forimagecaptioning）作者：安静到无声个人主页写在前面：本节详细介绍了ruotianluo/self-critical.pytorch中的Newfc模型，包括代码解析、网络结构和实现细节等方面。读者将全面深入地了解该模型的特点和优势，并能够运用所学知识进

安静到无声·2023-08-28 10:49

【Image captioning】ruotianluo/self-critical.pytorch之4—模型训练之train.py代码解析

【Imagecaptioning】ruotianluo/self-critical.pytorch之4—模型训练之train.py代码解析作者：安静到无声个人主页from__future__importabsolute_importfrom__future__importdivisionfrom__future__importprint_function这段代码使用了Python2.x的__fut

安静到无声·2023-08-28 10:48

【Image captioning】自用数据集预处理并提取Resnet特征

自用数据集预处理并提取Resnet特征作者：安静到无声个人主页目录自用数据集预处理并提取Resnet特征将uic_coco.json转换为uictalk.json和uictalk_label.h5Resnet特征提取推荐专栏注意本文的所使用的数据集是我自己创作的uic自有集。将uic_coco.json转换为uictalk.json和uictalk_label.h5目的：对原始的JSON数据集进行

安静到无声·2023-08-23 21:49

【image captioning】程序[ruotianluo/self-critical.pytorch]中数据集的格式介绍

程序ruotianluo/self-critical.pytorch中数据集的格式介绍作者：安静到无声个人主页目录程序[ruotianluo/self-critical.pytorch](https://github.com/ruotianluo/self-critical.pytorch)中数据集的格式介绍cocotalk_fccocotalk_attcocotest_bu_attcocotes

安静到无声·2023-08-22 13:12

【Image captioning】BUTD中coco数据集介绍

BUTD中coco数据集介绍作者：安静到无声个人主页目录BUTD中coco数据集介绍1.`dataset_coco.json`forimagecaptioning1.1总结1.2将dataset_coco.json转换为cocotalk.json和cocotalk_label.h52.对cocotalk.json介绍分析3.cocotalk_label.h5介绍分析4.分析cocotest.jso

安静到无声·2023-08-22 02:05

cs231n assignment 3 Q2 Image Captioning with Vanilla RNNs

文章目录嫌啰嗦直接看代码Q2ImageCaptioningwithVanillaRNNs一个给的工具代码里的bug问题展示问题解决思路解决办法rnn_step_forward题面解析代码输出rnn_step_backward题面解析代码输出rnn_forward题面解析代码输出rnn_backward题面解析代码输出word_embedding_forwardwordembedding技术解释题面

理智点·2023-08-18 22:12

【Image captioning】ruotianluo/self-critical.pytorch之1—数据集的加载与使用

【Imagecaptioning】ruotianluo/self-critical.pytorch之1—数据集的加载与使用作者：安静到无声个人主页数据加载程序示意图使用方法示例代码#%%from__future__importabsolute_importfrom__future__importdivisionfrom__future__importprint_functionimporttorc

安静到无声·2023-08-12 05:14

CS231n assignment3 Q1 Image Captioning with Vanilla RNNs

来到最后一个作业，前两个作业仍然是使用numpy来实现一个rnn/lstm网络，后边三个作业则用到了tensorflow/pytorch，目前只用了tensorflow来完成，以后或许会把pytorch的也完成了。前言第一个任务是使用rnn来完成图像标注的任务。imagecaption是rnn类网络的经典应用，属于encoder-decoder网络，encoder使用cnn网络，如VGG16，采用

weixin_30545285·2023-07-17 00:51

[CS231n Assignment 3 #01] 简单RNN的图像字幕(Image Captioning with Vanilla RNNs)

文章目录作业介绍0.准备1.MicrosoftCOCO1.1可视化数据2.递归神经网络(RNN)2.1朴素RNN：单时间步的前向传播2.2单时间步的反向传播2.3整个时间序列的前向传播2.4整个时间序列上的反向传播3.词嵌入（Wordembedding）3.1词嵌入前向传播3.2词嵌入的反向传播4.时序输出转换4.1前向传播4.2反向传播5.时序输出Softmax损失6.使用RNN完成ImageC

灵隐寺扫地僧·2023-07-17 00:20

cs231n'18： Assignment 3 | LSTM Captioning

Assignment3|LSTMCaptioning上一节介绍了VanillaRNN，同NN一样，RNN存在的最大的问题就是梯度消失。这是因为，RNN中需要学习的参数在一个timecapsule结束之后才会更新一次，而在同一个timecapsule中，所有的时刻都会有loss产生，因此也都会有对于参数的梯度产生，最后参数更新时的梯度是所有这些梯度之和。梯度的计算式为：∂L∂W=∑t

FortiLZ·2023-07-16 23:17

Image Captioning 经典论文合辑

ImageCaption:Automaticallydescribingthecontentofanimagedomain:CV+NLPCategory:(bymyself,youcanreadthesurveyfordetail.)CNN+RNN,withattentionmechanismsReinforcementLearningGANCompositionalArchitecture:Re

bit小兵·2023-07-16 08:35

【Image captioning】论文精读三–Show, Attend and Tell: Neural Image Caption Generation with Visual Attention

【Imagecaptioning】论文精读三–Show,AttendandTell:NeuralImageCaptionGenerationwithVisualAttention作者：安静到无声个人主页作者简介：人工智能和硬件设计博士生、CSDN与阿里云开发者博客专家，多项比赛获奖者，发表SCI论文多篇。Thanks♪(･ω･)ﾉ如果觉得文章不错或能帮助到你学习，可以点赞收藏评论+关注哦！o(￣▽

安静到无声·2023-07-16 08:59

（一零八）：GRIT: Faster and Better Image captioning Transformer Using Dual Visual Features

（一零八）：GRIT:FasterandBetterImagecaptioningTransformerUsingDualVisualFeaturesAbstract1.Introduction2.RelatedWork2.1VisualRepresentationsforImageCaptioning2.2ApplicationofTransformerinVision/LanguageTask

Laura_Wangzx·2023-06-23 04:47

【stable diffusion】图片批量自动打标签、标签批量修改（BLIP、wd14）用于训练SD或者LORA模型

、正则化准备】官方教程：https://github.com/darkstorm2150/sd-scripts/blob/main/docs/train_README-en.md#automatic-captioning

曾小蛙·2023-06-16 20:48

Image captioning中自定义文本数据整理为类似Flickr8k.token.txt的格式---＞助力后期生成JSON格式用于训练

手把手实现Imagecaptioning，将自定义文本数据整理为类似Flickr8k.token.txt的格式，助力后期生成JSON格式用于训练。如果感觉有用，不妨给博主来个一键三连，白天科研，晚上肝文，实属不易~~](https://imgse.com/i/p9FmMDK)这里写目录标题1.任务需求2.程序实现2.1读取图片文件名与其含义的对应关系文件2.2建立图片文件名与其含义的映射关系2.3

安静到无声·2023-06-11 14:59

[AAAI2020]MemCap：Memorizing Style Knowledge for Image Captioning

MemCap：MemorizingStyleKnowledgeforImageCaptioning附：论文下载地址论文主要贡献提出了一种基于MemCap的风格化的图像描述方法，使用stylememorymodule（风格记忆模块）来记忆关于语言风格的知识，并根据图片中的内容来检索这些知识。提出了一种sentencedecomposingalgorithm（句子分解算法），自动将风格相关部分从风格句

枉费红笺·2023-04-12 02:17

（2）Newfc网络模型的解析（for image captioning）

写在前面：本节详细介绍了ruotianluo/self-critical.pytorch中的Newfc模型，包括代码解析、网络结构和实现细节等方面。读者将全面深入地了解该模型的特点和优势，并能够运用所学知识进行高质量的代码实现。这是一个必不可少的教程，适合图像字幕生成领域的进阶学习者深入学习。02Newfc网络模型的解析（forimagecaptioning）1.Newfc网络模型调用详情2.FC

安静到无声·2023-04-12 02:40

video caption之S2VT

论文：SequencetoSequence–VideotoTextGitHub：GitHub-AdrianHsu/S2VT-seq2seq-video-captioning-attention:S2VT

watersink·2023-04-05 22:02

Paper Reading - Deep Captioning with Multimodal Recurrent Neural Networks ( m-RNN ) ( ICLR 2015 ) ...

PaperReading-DeepCaptioningwithMultimodalRecurrentNeuralNetworks(m-RNN)(ICLR2015)★LinkofthePaper:https://arxiv.org/pdf/1412.6632.pdfMainPoints:TheauthorsproposeamultimodalRecurrentNeuralNetworks(AlexN

dichunpu6524·2023-02-06 13:53

论文介绍--Spatio-Temporal Dynamics and Semantic Attribute Enriched Visual Encoding for Video Captioning

Spatio-TemporalDynamicsandSemanticAttributeEnrichedVisualEncodingforVideoCaptioning这篇论文发表在2019年的CVPR上。作者NayyerAafaq等人来自西澳（大利亚）大学。这是一篇改进视频描述工作的论文。作者观察到近期的视频描述工作主要集中于改进解码器（decoder），而较少关注特征提取的部分。作者认为从视频中

信道者·2023-02-01 16:55

2019： Unified Vision-Language Pre-training for Image Captioning and VQA

摘要本文提出一个统一的视觉-语言预训练模型，（1）可以用于视觉-语言生成或理解任务的微调；（2）使用一个共享的多层transformer网络编码和解码，与许多编码器和解码器使用单独的模型不同。统一的VLP模型在大量的图像-文本对上进行预训练，使用两个任务进行无监督学习：双向和序列到序列(seq2seq)掩码视觉-语言预测，这两个任务的不同之处仅仅在于预测条件的背景。这是利用共享transforme

weixin_42653320·2023-01-31 23:42

Fast, Diverse and Accurate Image Captioning Guided By Part-of-Speech

Fast,DiverseandAccurateImageCaptioningGuidedByPart-of-Speech原文地址时间：2019年概括本文致力于建立一个fast,accurate,diverse的imagecaption模型，首先提出了传统beamsearch的慢、diversity不足，以及基于GAN、VAE方法的准确率不足的缺陷，然后提出了根据词性序列生成caption的方法，这

luputo·2023-01-15 12:04

【目标检测】COCO数据集介绍

目录：COCO数据集介绍一、数据集介绍二、COCO数据集features2.1对象检测2.2字幕(captioning)：图像的自然语言描述2.3关键点检测2.4图像分割(stuffimagesegmentation

旅途中的宽~·2023-01-10 12:17

COCO数据集介绍

MicrosoftCommonObjectsinContext(MSCOCO)，它是一个大规模(large-scale)的对象检测(objectdetection)、分割(segmentation)、关键点检测(key-pointdetection)和字幕(captioning

fengbingchun·2023-01-10 10:28

【论文&模型讲解】VideoBERT: A Joint Model for Video and Language Representation Learning

friedrichor·2023-01-01 15:40

论文笔记：Dual-Level Collaborative Transformer for Image Captioning

现有的基于图像区域特征的图像字幕方法的不足是：缺乏上下文信息和细粒度细节，而这恰恰是传统网格特征的优点。本文使用这两种特征（区域特征和网格特征）作为视觉输入，引入一种新的双层协同Transformer网络(DLCT)以实现区域和网格特征在图像描述中的互补优势。在DLCT中，首先通过一个新的Dual-WaySelfAttention(DWSA)处理两类特征源，以挖掘它们的内在属性，引入了一个综合关系

SCUT_JQ·2022-12-30 14:08

Image captioning with transformer and knowledge graph

Imagecaptioningwithtransformerandknowledgegraph创新点一、创新点1二、创新点2实验2021PatternRecognitionLetters东南大学创新点本文使用相对熵(KLdivergence)结合最大似然估计(MLE)作为目标函数，以区分不正确预测之间的差异。MLE存在的问题：MLE不能区分不正确的预测。MLE以同样的方式处理与真实值不同的所有预测

小个葡萄·2022-12-30 14:07

推荐频道