transformers

transformer在视觉检测的应用

在视觉检测的应用detr简介一些基于detr启发论文目标检测DeformableDETRConditionalDETRSparseR-cnn实例分割/全景分割SOLQMaskformerK-Net近年，Transformers
blanokvaffy·2022-12-09 18:00

【报错】AttributeError: module ‘transformers.utils.logging‘ has no attribute ‘getLogger‘

比方说：importloggingfromtransformers.trainerimport*logger=logging.getLogger(__name__)由于transformers.trainer
Reza.·2022-12-09 17:59

StopIteration: Caught StopIteration in replica 0 on device 0. 问题排查与解决

使用的环境是：Pytorch1.11transformers：4.18在网上进行查阅后大部分人都说可能是pytorch版本的问题，当前所使用的pytorch版本过高，需要降级到1.4.0版本。
Yore_999·2022-12-09 10:11

ViTDet:Exploring Plain Vision Transformer Backbonesfor Object Detection（arXiv 2022）

最前面是论文翻译，中间是背景+问题+方法步骤+实验过程，最后是文中的部分专业名词介绍（水平线分开，能力有限，部分翻译可能不太准确）探索用于目标检测的普通视觉Transformers骨干在本文中，“backbone
Y蓝田大海·2022-12-09 08:01

Global Tracking Transformers

GTRTitle:GlobalTrackingTransformerspaper:https://arxiv.org/pdf/2203.13250.pdfcode:https://github.com/xingyizhou/GTR得克萨斯大学奥斯汀分校,AppleCVPR2022Introduction本文提出了一种新的基于transformer的全局多目标跟踪体系结构。网络以一个短时间的帧序列作
Fwenxuan·2022-12-09 07:26

《End-to-end Lane Shape Prediction with Transformers》论文笔记

这是个人的学习笔记，如有侵权，请联系本人。还在更新代码摘要车道线检测的过程可以视为近似曲线，如今Thepopularpipeline分两步解决-特征提取加上后处理这种方法虽然很有用，但是效率不高，并且在处理图片上下文信息和车道的细长结构存在缺陷。为了解决这些问题，本文提出了一种端到端的直接输出车道形状模型参数的方法，能学习更丰富的结构和上下文信息。该模型基于车道线结构和摄像机姿态建立，为网络输出参
Good@dz·2022-12-09 02:17

transformers.generator_utils函数源码解析之beam_search

主要记录transformers库中generator_utils函数的beam_search方法，以源码的方式加深理解，重要的步骤都在后面添加了注释#beam_search主体函数whileTrue:
will-wil·2022-12-08 22:57

【NLP】Transformers 源码阅读和实践

本文主要针对HuggingFace开源的transformers，以BERT为例介绍其源码并进行一些实践。
风度78·2022-12-08 19:35

将tensorflow版本的预训练模型转换成pytorch版本的

参考：pytorch_transformers使用之获取bert词向量_yecp1的博客-CSDN博客1、安装pytorch1.1+pipinstalltorch2、安装pytorch-transformerspipinstalltransformers3
coding_xian·2022-12-08 17:39

【ICCV2021】PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers论文速读

文章目录摘要1.介绍3.方法3.1.Set-to-SetTranslationwithTransformers3.2.点代理生成3.3.几何敏感的TransformerBlockQuery生成器多尺度点云生成Loss计算4.结果5.总结摘要本文主要解决从部分点云中恢复完整点云的任务。作者设计了一种新的点云补全模型PoinTr，将点云补全问题转化为集合到集合的平移问题，该模型采用了Transform
向上的毛毛·2022-12-08 13:48

高版本transformers-4.24中的坑

最近遇到一个很奇怪的BUG，好早之前写的一个Bert文本分类模型，拿给别人用的时候，发现不灵了，原本90多的acc，什么都没修改，再测一次发现只剩30多了，检查了一番之后，很快我发现他的transformers
常鸿宇·2022-12-08 13:38

BMVC-2021-DETR: End-to-End Object Detection with Transformers 阅读笔记

目录DETR整体架构BackboneTransformerencoderTransformerdecoderPredictionfeed-forwardnetworks(FFNs)AuxiliarydecodinglossesQUOTE论文地址：https://arxiv.org/abs/2005.12872代码地址：https://github.com/facebookresearch/deth
菜菜子hoho·2022-12-08 11:28

Bert (Bi-directional Encoder Representations from Transformers) Pytorch 源码解读（二）

前言这里是Bert(Bi-directionalEncoderRepresentationsfromTransformers)源码解读的第二部分，第一部分主要介绍了bert_model.py文件中，bert模型的定义。而第二部分为BERT_Training.py文件，该部分源码主要实现了Bert模型的预训练工作。Bert源码解读：1.模型结构源码：bert_model.py2.模型预训练源码：be
zjrn·2022-12-08 11:31

Hugginigface微调模型(使用transformers)

仅用于学习交流，如有侵权还请告知。fromtransformersimportAutoTokenizer,AutoModelForSequenceClassification,BertModel,BertTokenizerfrompathlibimportPathfromsklearn.model_selectionimporttrain_test_splitimporttorchfromtorc
Shy960418·2022-12-08 07:20

Transformers微调模型(PyTorch)

仅供学习交流，如有侵权请告知importtorchfromtorch.utils.dataimportDataLoaderfromtransformersimportAutoTokenizer,AutoModelForSequenceClassification,BertModel,BertTokenizerfrompathlibimportPathfromsklearn.model_select
Shy960418·2022-12-08 07:16

Huggingface Transformers各类库介绍（Tokenizer、Pipeline）

目录前言0、transformers的安装以及介绍0-1、介绍0-2、安装一、分词——transformers.AutoTokenizer1-0、相关参数介绍（常用参数介绍）1-1、加载、保存1-2、使用以及原理二
ㄣ知冷煖★·2022-12-07 20:22

Poseur: Direct Human Pose Regression with Transformers 论文阅读笔记

Poseur：使用Transformer的直接人体姿态回归ECCV2022论文链接代码链接摘要：本文提出一种直接的、基于回归的方法从单个图像中估计2D人体姿态。本文将姿态估计问题表述为一个序列预测任务（sequencepredictiontask），并使用Transformer来解决。本文提出的网络无需借助热图这样的中间表示，直接学习从图像到关键点坐标的回归映射。这种方法避免了热图法的许多复杂性。
AnZhiJiaShu·2022-12-07 20:19

Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet阅读笔记（小关键点记录）

总述：本文认为ViT之所以无法直接用中等数量数据集训练取得较好效果，是因为ViT对图像进行分patch拼接成序列的处理方法太简单了，模型无法学习到图像的结构信息，并且文中通过比较ViT和CNN中间每层输出的表示也印证了这一点。因此本文提出了新的Tokenize方法，将每一层的输出再还原成一个图像，然后在图像上进行softsplit。Softsplit指的是有重叠的进行patch划分，这样就建立起了
wangtao990503·2022-12-07 16:38

Tsinghua:Finding Skill Neurons in Pre-trained Transformer-based Language Models

在本文中，我们发现在对特定任务进行快速调整后，预训练的Transformers1中某些神经元的激活可以高度预测任务标签。
等景，不如找景·2022-12-07 12:36

Multimodal Token Fusion for Vision Transformers

水平太浅，理解不到位。谨慎观看。多模态token融合，我是语义分割，只看RGB和Depth模态。1：作者为了解决transformer多输入的问题，对基于transformer视觉任务进行剪枝，为了有效的融合多模态，tokenfusion动态的检测那些无信息的token，并用经过投影和聚合过的跨特征（projectedandaggregatedinter-modal）替换掉。为了使用融合后的跨模态
翰墨大人·2022-12-07 11:27

读书笔记：使用Transformers的遥感图像变化检测

读书笔记：RemoteSensingImageChangeDetectionwithTransformers文章：https://ieeexplore.ieee.org/abstract/document/9491802代码：https://github.com/justchenhao/BIT_CD摘要：现代变化检测（CD）通过深度卷积强大的判别能力取得了显着的成功。然而，由于场景中物体的复杂性，
赫瑟尔·2022-12-06 23:41

名校 AI 课程｜斯坦福 CS25：Transformers United 专题讲座

自2017年提出后，Transformer名声大噪，不仅颠覆了自然语言处理（NLP）领域，而且在计算机视觉（CV）、强化学习（RL）、生成对抗网络（GANs）、语音甚至是生物学等领域也大显锋芒，于是就有了近年来看到的基于Transformer创建的大型语言模型GPT-3，以及“魔改”的Transformer在蛋白质折叠问题的AlphaFold2算法中大展身手……那么，Transformer是什么？
矩池云Matpool·2022-12-06 20:50

SegNeXt---语义切分中卷积注意力设计的再思考

本文证明卷积注意是一种比transformers中的自注意机制更有效的编码上下文信息的方法。通过重新审视成功的分割模型所具有的特性，发现了导致分割模型性能提高的几个关键因素。
北在北面·2022-12-06 18:01

transformers.generator_utils函数源码解析之RepetitionPenaltyLogitsProcessor

classRepetitionPenaltyLogitsProcessor(LogitsProcessor):r""":class:`transformers.LogitsProcessor`enforcinganexponentialpenaltyonrepeatedsequences.Args
will-wil·2022-12-06 15:20

GPT2 throw error Using pad_token, but it is not set yet

今天使用GPT2遇到的ERROR，看了一下源码，问题在这：pytorch_transformers.tokenization_utilsclassPreTrainedTokenizer(object):
乐清sss·2022-12-06 15:48

预训练模型transformers综合总结（一）

预训练模型transformers综合总结（一）这是我对transformers库查看了原始文档后，进行的学习总结。
元宇宙iwemeta·2022-12-06 15:18

Transformers代码笔记系列2(GenerationMixin生成模块）

应用实例（添加transformers代码）参数介绍input_ids：对于encoder-decoder模型（例如：T5），input_ids用于encoder输入，生成encoder_outputs
真炎破天·2022-12-06 15:18

transformers的beam_search

"""transformer的generation_beam_search.py中beam_search过程当decoder的输入是[N,1],N为batch_size,设置beams=k,将输入转化为[N*k,1]输入放入到decoder中生成了logits,形状为[N*k,T]，T为总的token数logits和历史beam_score相加成为新的beam_score,进行topk排序，获取n
sinat_24395003·2022-12-06 15:18

transformers中生成模型（GenerationModel）如何获取生成路径的分数

importtransformersprint(transformers.
xhsun1997·2022-12-06 15:17

基于 transformers 的 generate() 方法实现多样化文本生成：参数含义和算法原理解读

一、前言最近在做文本生成，用到huggingfacetransformers库的文本生成generate()函数，是GenerationMixin类的实现（classtransformers.generation_utils.GenerationMixin），是自回归文本生成预训练模型相关参数的集大成者。因此本文解读一下这些参数的含义以及常用的GreedySearch、BeamSearch、Sam
木尧大兄弟·2022-12-06 15:15

【自然语言处理】【文本生成】Transformers中使用约束Beam Search指导文本生成

Transformers中使用约束BeamSearch指导文本生成原文地址：https://huggingface.co/blog/constrained-beam-search相关博客【自然语言处理】
BQW_·2022-12-06 14:43

【自然语言处理】【文本生成】CRINEG Loss：学习什么语言不建模

Learningwhatlanguagenottomodel》论文地址：https://arxiv.org/pdf/2211.05826.pdf相关博客【自然语言处理】【文本生成】CRINEGLoss：学习什么语言不建模【自然语言处理】【文本生成】使用Transformers
BQW_·2022-12-06 14:10

Vision Transformers for Dense Prediction

paper：https://arxiv.org/abs/2103.13413code：https://github.com/intel-isl/DPTAbstract我们引入了密集视觉转换器，这是一种利用视觉转换器代替卷积网络作为密集预测任务的骨干架构。我们将视觉转换器的各个阶段的tokens组合成各种分辨率的类图像表示，并使用卷积解码器逐步将它们组合成全分辨率预测。转换器的主干过程表示在一个恒定
Booo0m·2022-12-06 13:02

Vision Transformers for Dense Prediction 论文阅读

研一小菜鸡一枚，刚刚入门CV领域，最近对大火的Transformer比较感兴趣，把刚刚阅读过的一篇论文和大家分享一下，第一次写文章，如有错误，还请指正。先放一下论文链接：https://arxiv.org/pdf/2103.13413v1.pdfBackground在阅读论文之前我们要先知道Denseprediction的定义DensePrediction：Pixelwisedensepredic
CV小菜鸡 123·2022-12-06 13:27

用于密集预测的视觉转换器 Vision Transformers for Dense Prediction

VisionTransformersforDensePrediction面向实际应用的室内单目深度估计0Abstract  我们提出了一种视觉转换器，一种利用视觉转换器代替卷积网络作为密集预测任务的骨干架构。本文将视觉转换器各个阶段的toker（翻译是令牌，但我感觉更像一个图像块）组装成各个分辨率的类图像表示，然后在解码器阶段进行组合，从而生成全分辨率预测。transformer采用恒定且相对较高
韩十三*·2022-12-06 13:53

Vision Transformers for Dense Prediction——代码实践

相关申明源代码地址@article{Ranftl2021,author={Ren\'{e}RanftlandAlexeyBochkovskiyandVladlenKoltun},title={VisionTransformersforDensePrediction},journal={ArXivpreprint},year={2021},}@article{Ranftl2020,author={R
MengYa_DreamZ·2022-12-06 13:22

Vision Transformers for Dense Prediction

VisionTransformersforDensePrediction论文链接：https://arxiv.org/abs/2103.13413v1论文代码：https://github.com/isl-org/DPTAbstract本文引入densevisiontransformers，它用visiontransformers代替卷积网络作为密集预测（denseprediction）任务的主干
NortheastSouthwest·2022-12-06 13:51

教你用人工智能写文章写歌词写对联

最近一直在研究人工智能智能，从gpt2、transformers、bert。。。。最后发现，其实对小白来说，人工智能并没有那么高大上，看代码像看天书。。。。
plawuyue·2022-12-06 11:57

【报错】HuggingFace Transformers connection issue

有时候跑huggingface的代码，莫名其妙地会报下面这个错误：ValueError:Connectionerror,andwecannotfindtherequestedfilesinthecachedpath.PleasetryagainormakesureyourInternetconnectionison有人说，删除cache文件就行；有人说from_pretrain的时候指定local
Reza.·2022-12-06 08:16

哈工大SCIR lab带你从头开始了解Transformer

阅读大概需要48分钟跟随小博主，每天进步一丢丢作者：PeterBloem原文：TRANSFORMERSFROMSCRATCH链接：http://www.peterbloem.nl/blog/transformers
zenRRan·2022-12-06 07:29

RuntimeError: CUDA error: device-side assert triggered

诸神缄默不语-个人CSDN博文目录我在运行PyG和transformers代码时两次遇到了这一问题，在此加以记录。
诸神缄默不语·2022-12-06 06:55

论文阅读：An Empirical Study of Training End-to-End Vision-and-Language Transformers

摘要提出MultimodalEnd-to-endTransformERframework，即METER，通过这个框架研究如何以一个端到端的方式(inanend-to-endmanner)设计和预训练一个完全基于transformer的视觉语言模型。端到端指的是输入是原始数据，输出是最后的结果，整个模型过程相当于黑箱操作；相反，非端到端的方法，数据的预处理部分是单独的模块，需要人工处理（如人工标注数
xiyou__·2022-12-05 21:21

【ChatBot开发笔记】GPT2模型的导入、使用和分析，模型训练

Transformers是一个先进的NLP框架，适用于pytorch和tensorflow2.0，这边使用的GPT2框架是一个OpenAI的先进技术，在上下文连贯性和情感表达上有相当好的表现，实际使用时可以直接从
Mars_阿火·2022-12-05 18:19

Focal Self-attention for Local-Global Interactions inVision Transformers

FocalSelf-attentionforLocal-GlobalInteractionsinVisionTransformersJianweiYang1，ChunyuanLi1，PengchuanZhang1，XiyangDai2，BinXiao2，LuYuan2，JianfengGao11MicrosoftResearchatRedmond,2MicrosoftCloud+AIhttps:/
Phoenixtree_DongZhao·2022-12-05 17:31

基于BERT模型实现文本分类任务（transformers+torch）

：《BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding》论文笔记 代码实现主要用到huggingface的transformers
#苦行僧·2022-12-05 16:55

ConvFormer: Closing the Gap Between CNN and Vision Transformers

ConvFormer:ClosingtheGapBetweenCNNandVisionTransformers提出一个新颖的注意力机制：MCA，并且在此基础上提出一个神经网络：ConvFormerMotivationGenerally,bothCNNandViThavetheirprosandcons.CNN和ViT各有优缺点Tothisend,thereisatrendtotakethemeri
-虚名-·2022-12-05 09:14

TransUNet

TransUnet:Transformers和Unet的强强联合论文题目：TransUNet:TransformersMakeStrongEncodersforMedicalImageSegmentation
没拖拉机的斯基·2022-12-05 01:27

TransUNet: Transformers Make StrongEncoders for Medical Image Segmentation文章详解(结合代码)

1.摘要医学图像分割是开发医疗保健系统，特别是疾病诊断和治疗计划的必要前提。在各种医学图像分割任务中，U形架构（也称为U-Net）已成为事实上的标准，并取得了巨大的成功。然而，由于卷积运算的内在局部性，U-Net在显式建模长程依赖性方面通常表现出局限性。Transformer是为序列间预测而设计的，它已经成为具有天生的全局自我关注机制的替代架构，但由于低级细节不足，定位能力有限。在本文中，我们提出
Orange_sparkle·2022-12-05 01:54

【论文笔记】TransUNet: Transformers Make StrongEncoders for Medical Image Segmentation

声明不定期更新自己精度论文，通俗易懂，初级小白也可以理解涉及范围：深度学习方向，包括CV、NLP、DataFusion、DigitalTwin论文标题：TransUNet:TransformersMakeStrongEncodersforMedicalImageSegmentationTransUNet:Transformer为医学图像分割提供强大的编码器论文链接：https://arxiv.or
来自γ星的赛亚人·2022-12-04 11:23

论文阅读 - An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

文章目录1概述2方法简述2.1encoder之前2.2encoder之后3实验结果参考资料1概述这篇论文是一篇将tranformer引入到图像领域的里程碑式的文章。因为这是第一次在处理图像时，将所有的卷积模块统统抛弃，只使用attention。并且实验证明了只用attention比使用卷积的网络在图像分类上效果要更好。正片文章的内容并不难理解，前提熟知transformer的原理，不了解或者想要回
zjuPeco·2022-12-04 10:27
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他