Transformers》第23页

论文阅读-主干网络(2022)-ConvNext:下一代卷积网络

/a-convnet-for-the-2020s论文阅读 ConvNext指出虽然ViTs在分类任务中表现优异屡次刷新SOTA，但是应用于其他计算机视觉任务比如目标检测和语义分割却存在问题，直到分层Transformers

不会算命的赵半仙·2022-12-15 21:37

解决OSError: Error no file named pytorch_model.bin, tf_model.h5 found in directory

Errornofilenamedpytorch_model.bin,tf_model.h5,model.ckpt.indexorflax_model.msgpackfoundindirectory出现过程：使用transformers

Y_soserious·2022-12-15 14:34

在 ML.NET 中使用Hugginface Transformer

本文主要来自https://rubikscode.net/2021/10/25/using-huggingface-transformers-with-ml-net/，根据自己的理解做了一些修改。

dotNET跨平台·2022-12-15 07:35

最先进模型指南：NLP中的Transformers如何运作？

全文共5257字，预计学习时长11分钟或更长通过阅读本篇文章，你将理解：·NLP中的Transformer模型真正改变了处理文本数据的方式。·Transformer支持NLP的最新变化，包括谷歌的BERT。·了解Transformer的运作规律，如何进行语言建模、序列到序列建模以及如何构建Google的BERT模型。下面，我们开始学习吧！图片来源：pexels/DominikaRoseclay当前

chiyingge5323·2022-12-15 07:01

Multimodal Motion Prediction with Stacked Transformers翻译

摘要预测附近车辆的多个可能的未来轨迹对于自动驾驶的安全至关重要。最近的运动预测方法试图通过隐式正则化特征或显式生成多个候选方案来实现这种多模态运动预测。然而，它仍然具有挑战性，因为潜在特征可能集中在最频繁的数据模式上，而基于提议的方法在很大程度上依赖于先验知识来生成和选择提议。在这项工作中，我们提出了一种新的多模态运动预测变压器框架，称为mmTransformer。设计了一种基于堆叠变压器的新型网

zzzzz忠杰·2022-12-15 01:23

【多V目标轨迹预测】mmTransformer:Multimodal Motion Prediction with Stacked Transformers (CVPR2021)

mmTransformer设计了一种基于堆叠transformers的新型网络体系结构，利用一组固定的独立方案在特征水平上进行多模态建模。然后开发了一种基于区域的训练策略，以诱导生成的建

光光同学·2022-12-15 01:16

语义相似度模型SBERT ——一个挛生网络的优美范例

1908.10084论文中文翻译：https://www.cnblogs.com/gczr/p/12874409.html源码下载：https://github.com/UKPLab/sentence-transformers

xieyan0811·2022-12-14 10:16

重新预训练BERT

weixin_43476533/article/details/107512497https://blog.csdn.net/qq_22472047/article/details/115528031"""transformers

想念@思恋·2022-12-14 08:05

Transformers Roberta如何添加tokens

1.前提最近用roberta模型需要添加specialtokens，但每次运行在GPU上会报错（上面还有一堆的block）而在CPU上则报错网上搜了很多资料，说是如果增加了specialtokens或是修改了vocab.txt，则需要加上model.resize_token_embeddings(len(tokenizer))，不然维度会不对，但一直不太清楚加在哪里，刚开始加在了dataset处理

Vincy_King·2022-12-14 08:03

Temporal Action Proposal Generation with Transformers TAPG transformer论文阅读笔记

论文地址：https://arxiv.org/pdf/2105.12043.pdfAbstarct为了捕获在不同粒度级别上的依赖关系，本文直观地提出了一个使用transformer的单一时间动作提案生成框架，称为TAPGTransformer，它由一个BoundaryTransformer和一个ProposalTransformer组成。通常，BoundaryTransformer捕获长期的时间依

Encounter84·2022-12-14 07:58

SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers

https://arxiv.org/pdf/2105.15203.pdf文章提出了SegFormer，encoder由金字塔Transformer组成，不使用位置编码，而是使用一个3x3的逐深度卷积。decoder使用了简单的MLP。因为分类与语义分割有很强的联系，因此设计一个backbone用来分割是很重要的。思考：Resnet刚开始也是作为分类使用的，然后语义分割也使用Resnet作为back

翰墨大人·2022-12-13 18:07

【Transformer】16、SegFormer：Simple and Efficient Design for Semantic Segmentation with Transformers

文章目录一、背景和动机二、方法2.1HierarchicalTransformerEncoder2.2LightweightALL-MLPDecoder2.3和SETR的区别三、效果四、代码出处：NeurIPS2021论文链接：https://arxiv.org/pdf/2105.15203.pdf代码链接：https://github.com/NVlabs/SegFormer一、背景和动机语义分

呆呆的猫·2022-12-13 18:33

知识图谱-第三方工具：DeepKE【支持低资源、长篇章的知识抽取工具，支持：①命名实体识别、②关系抽取、③属性抽取】【基于PyTorch+Transformers】

DeepKE是一个基于深度学习的开源中文知识图谱抽取框架，支持低资源、长篇章的知识抽取工具，支持命名实体识别、关系抽取和属性抽取功能。DeepKE为三个知识抽取功能（命名实体识别、关系抽取和属性抽取）设计了一个统一的框架可以在不同场景下实现不同功能。比如，可以在标准全监督、低资源少样本和文档级设定下进行关系抽取每一个应用场景由三个部分组成：Data部分包含Tokenizer、Preprocesso

u013250861·2022-12-13 16:05

【报错】ValueError: not enough values to unpack expected 2, got1

原因：因为transformers版本不同,语法不一样，源代码版本的是2.X，而下载的版本是4.17.0解决：改成x_1=self.PreModel(tokens_x_2d).last_hidden_state

sueong·2022-12-13 16:35

解决报错ImportError: IProgress not found. Please update jupyter and ipywidgets.

问题描述在用transformers模型导入预训练模型时，报错：ImportError:IProgressnotfound.Pleaseupdatejupyterandipywidgets.Seehttps

山顶夕景·2022-12-13 13:54

transformers.tokenization_utils_base

2.错误：WARNING:transformers.tokenization_utils_base:Truncationwasnotexplicitelyactivatedbutmax_lengthisprovidedaspecificvalue

风吹半夏灬·2022-12-13 12:08

Paper Reading《Taming Pretrained Transformers for Extreme Multi-label Text Classification 》

@time：2020-11-30githubcodearxivpaperSIGKDD2020AppliedDataTrack1.主要工作针对极端多标签文本分类（ExtremeMulti-labelClassification,XMC）问题，即给定输入文本，则从大型标签集中返回最相关的标签。为解决Label输出空间巨大及稀疏性问题，本文提出了针对XMC问题微调的deeptransformer结构(B

SUFEHeisenberg·2022-12-13 10:05

论文笔记 EACL 2021|GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction

文章目录1简介1.1创新2背景知识2.1任务定义2.2评测指标3方法4实验1简介论文题目：GRIT:GenerativeRole-fillerTransformersforDocument-levelEventEntityExtraction论文来源：EACL2021论文链接：https://arxiv.org/pdf/2008.09249.pdf代码链接：https://github.com/x

hlee-top·2022-12-13 06:22

【论文笔记】Focal Self-attention for Local-Global Interactions inVision Transformers

声明不定期更新自己精度论文，通俗易懂，初级小白也可以理解涉及范围：深度学习方向，包括CV、NLP、DataFusion、DigitalTwin论文标题：FocalSelf-attentionforLocal-GlobalInteractionsinVisionTransformersVisionTransformer中局部-全局互动的焦点自我关注论文链接：https://arxiv.org/abs

来自γ星的赛亚人·2022-12-13 06:51

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

摘要anewlanguagerepresentationmodelcalledBERT.BERTstandforBidirectionalEncoderRepresentationsfromTransformers。BERTisdesignedtopre-traindeepbidirectionalrepresentationsfromunlabeledtextbyjointlycondition

big_matster·2022-12-13 06:50

【论文笔记】Bert：Pre-training of Deep Bidirectional Transformers for Language Understanding

原文作者：JacobDevlin，Ming-WeiChang，KentonLee，KristinaToutanova原文标题：Bert：Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding原文来源：谷歌AI团队原文链接：https://arxiv.org/pdf/1810.04805.pdfBert：Pre-trai

BodyCsoulN·2022-12-13 06:18

论文：Visual Grounding with Transformers

作者摘要本文中，我们提出了一种基于transformer的可视接地方法。与以前的proposalandrank框架（严重依赖预训练对象检测器）或proposalfree框架（通过融合文本嵌入来升级现成的单级检测器）不同，我们的方法构建在transformer编码器-解码器之上，独立于任何预训练检测器或单词嵌入模型。我们的方法被称为VGTR——带transformer的视觉接地，旨在在文本描述的指导

小仙女呀灬·2022-12-12 19:26

论文：TransVG: End-to-End Visual Grounding with Transformers

作者Abstract在本文中，我们提出了一个简洁而有效的基于转换的视觉基础框架，即TransVG，以解决将语言查询与图像上相应区域的基础任务。最先进的方法，包括两阶段或一阶段的方法，依赖于一个复杂的模块和手动设计的机制来执行查询推理和多模式融合。然而，在融合模块设计中，由于查询分解和图像场景图等机制的参与，使得模型很容易过度适应特定场景的数据集，限制了视觉语言环境之间的充分交互。为了避免这种警告，

小仙女呀灬·2022-12-12 19:26

ONNX 加速模型推理

1.安装onnxpipinstallonnxonnxruntime2.加载模型并转存模型为onnx格式，并测试使用实例为sentence-transformers预训练模型计算相似度classTest(

FB1024·2022-12-12 16:11

TurboTransformers 加速预训练模型推理

它可以作为huggingface/transformers的推理加速插件，通过加入几行python代码获得BERT模型的端对端加速效果。和ONNX-runtime、Tenso

FB1024·2022-12-12 16:11

2022年必须要了解的20个开源NLP 库

HuggingFaceTransformers57.1kGitHubstars.Transformers提供了数

程序员对白·2022-12-12 16:00

Bi-Link: Bridging Inductive Link Predictions from Text viaContrastive Learning of Transformers and

WWW国际万维网大会_百度百科摘要Bi-Link:通过Transformers和提示符的对比学习，从文本中连接归纳链接预测归纳知识图补全要求模型理解关系的底层语义和逻辑模式。

小蜗子·2022-12-12 15:50

bert-pytorch版源码详细解读

PS：1.这里的代码有些参数传入是阉割过的，而且代码版本也是比较老版的，但更容易理解，更详细的还是参考：https://huggingface.co/transformers/2.关键的注解都在代码的注释里

IGV丶明非·2022-12-12 14:48

CVPR2021 | VQGAN+：Taming Transformers for High-Resolution Image Synthesis

原文标题：TamingTransformersforHigh-ResolutionImageSynthesis主页：TamingTransformersforHigh-ResolutionImageSynthesis代码：https://github.com/CompVis/taming-transformerstransformer比CNN缺少了归纳偏置和局部性，但是更具表现力，但对于长序列（高

羊飘·2022-12-12 09:46

【自然语言处理】【ChatGPT系列】大模型的涌现能力

/pdf/2206.07682.pdf相关博客【自然语言处理】【ChatGPT系列】大模型的涌现能力【自然语言处理】【文本生成】CRINEGLoss：学习什么语言不建模【自然语言处理】【文本生成】使用Transformers

BQW_·2022-12-12 09:16

用通俗易懂的方式讲解Transformers

Transformers提供了一种可并行处理顺序数据的方式，因此，它不仅比以前的体系结构快得多，而且在处理长期依赖性方面也非常出色。文章目录技术提升什么是Transformers？输入/输

机器学习社区·2022-12-12 04:40

CMT: Convolutional Neural Networks Meet Vision Transformers,CIFAR100数据集复现

CMT:ConvolutionalNeuralNetworksMeetVisionTransformers论文地址：https://arxiv.org/abs/2107.06263复现设备：单卡V10032G复现数据集：CIFAR100数据集地址：链接：https://pan.baidu.com/s/1BPt7kUO6ACo_2bQN_hwVkw提取码：1qqz训练流程：下载代码Efficient

伊昂杨·2022-12-11 20:47

BaseModelOutputWithPoolingAndCrossAttentions的API

BaseModelOutputWithPoolingAndCrossAttentions的APIhttps://huggingface.co/transformers/main_classes/output.html

火星种萝卜·2022-12-10 20:55

Bert简介以及Huggingface-transformers使用总结

目录一、Bert模型简介 1.bert预训练过程 2.bert输入二、Huggingface-transformers笔记 1.安装配置 2.如何使用项目组件3、数据处理Tips 1.Torch.utils

ch3ung777·2022-12-10 20:25

【Transformers】BertModel模块的输入与输出

背景通常我们使用bert进行模型fine-tune时，大多是使用Transformer这个包，官方地址：https://huggingface.co/.如果想使用Bert获取任务对应的动态词向量，那么这时我们就需要了解Bert模型需要的输入与输出了。如果对bert模型不了解的可以看看我之前的文章：【NLP】BERT(BERT:Pre-trainingofDeepBidirectionalTrans

科皮子菊·2022-12-10 20:51

【点云】M3DeTR: Multi-representation, Multi-scale, Mutual-relation 3D Object Detection with Transformers

【WACV2022】M3DeTR:Multi-representation,Multi-scale,Mutual-relation3DObjectDetectionwithTransformers论文简介：基本思路：具体实现：实验结果：论文简介：本文提出了一种新的三维目标检测架构，M3DETR，它将不同的点云表示（原始、体素、鸟瞰图）与基于多尺度特征金字塔的不同特征尺度相结合。M3DETR是第一种

BIT可达鸭·2022-12-10 18:02

通过混淆矩阵计算指标的过程梳理

用来transformers代码跑了自己的六分类的数据集。有个疑问一直还没解决：语义分割时背景一定要算到类别里面去吗，这个类别该怎么处理？我的数据集并没说明这一点

yzZ_here·2022-12-10 16:11

Transformers实战——使用Trainer类训练和评估自己的数据和模型

有时候我们并不想使用Transformers来训练别人的预训练模型，而是想用来训练自己的模型，并且不想写训练过程代码。

HMTT·2022-12-10 15:34

Transformers实战——使用本地数据进行AclImdb情感分类

部分库版本transformers==4.17.0torch==1.11.0datasets==2.0.0数据介绍AclImdb–v1Dataset是用于二进制情绪分类的大型电影评论数据集，其涵盖比基准数据集更多的数据

HMTT·2022-12-10 15:04

Transformers训练和微调：Training and Fine-tuning

Transformers种的模型类旨在兼容Pytorch和Tensorflow2，并且可以无缝地在其中使用。本节，会展示如何使用标准的训练工具从头开始训练或微调一个模型。

HMTT·2022-12-10 15:03

【Transformers】第 8 章：使Transformers高效生产

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录

Sonhhxg_柒·2022-12-10 11:27

Transformer 训练优化

大模型虽然效果好，但是毕竟不是人人都有着丰富的GPU资源，在训练时往往就捉襟见肘，出现显存outofmemory的问题，或者训练时间非常非常的久，因此，这篇文章主要解决的问题就是如何在GPU资源受限的情况下训练transformers

just do it now·2022-12-10 06:19

BERT中的Tokenizer说明

由于最近的工作涉及到了Tokenizer，利用huggingface的transformers学习了Tokenizer，整理了这篇博客，如有理解表达不当，欢迎大家指正。T

xuanningmeng·2022-12-10 04:54

datawhale课程《transformers入门》笔记7：Transformers解析序列标注任务

Transformers解析序列标注任务本文主要来自datawhale的transformer教程4.2和天国之影学习笔记。

神洛华·2022-12-10 04:44

Bert实现命名实体识别NER任务 Trainer类实现

Bert实现命名实体识别任务使用Transformers.trainer进行实现code_dir:https://gitee.com/liuyu_1997/ml-nlp/blob/master/BertNER

一如年少模样丶·2022-12-10 04:06

transformers的分词工具BertTokenizer encode_plus参数

fromtransformersimportBertTokenizer#uncased是不支持小写tokenizer=BertTokenizer.from_pretrained('bert-base-uncased',do_lower_case=True)encoded_dict=tokenizer.encode_plus(sent,#Sentencetoencode.add_special_to

Diobld·2022-12-10 04:40

Transformers 源码阅读之BertTokenizerFast分词模型

数据集准备从bert-base-chinese下载预训练语言模型及其他词表，由于使用的是pytorch，因此下载pytorch_model.bin即可。如果要使用英文模型，就下载能区分大小写的或者是不能区分大小写的，对于uncased，初始化时必须要把lower设为true。特殊符号BERT在执行分词任务时会生成以下几种特殊符号：[CLS]：第一个句子的首位，如果要对整个句子进行分类，通常会取其对

羊城迷鹿·2022-12-10 03:32

Hugging Face教程 - 1、transformers模型库

参考Introduction-HuggingFaceCourse参考HuggingFace教程-1、transformers模型库-知乎(zhihu.com)，建议大家直接去看这篇。

是妖怪啊·2022-12-10 01:01

基于Hugging Face的transformers包的微调模型训练

transformersAPI参考链接：https://huggingface.co/docs/transformers/v4.21.2/en/trainingtrain.pyfromdatasetsimportload_datasetfromtransformersimportAutoTokenizer

morein2008·2022-12-10 01:00

4.0 基于Hugging Face -Transformers的预训练模型微调.md

本章节主要内容包含两部分内容：pipeline工具演示NLP任务处理构建Trainer微调模型目录1.简介Transformers的历史Architectures和checkpointsTheInferenceAPI2

gbchen99·2022-12-10 01:58

推荐频道

Transformers》