Transformers》第19页

预训练语言模型mask函数DataCollatorForLanguageModeling和DataCollatorForWholeWordMask解析

transformers库已经集成了预训练语言模型中的mask机制，这里分析其中的两个函数DataCollatorForLanguageModeling和DataCollatorForWholeWordMask

风吹草地现牛羊的马·2023-01-05 05:28

transformers DataCollatorWithPadding类

构造方法DataCollatorWithPadding(tokenizer:PreTrainedTokenizerBasepadding:typing.Union[bool,str,transformers.utils.generic.PaddingStrategy

不负韶华ღ·2023-01-05 05:26

Global Tracking Transformers 详细解读

文章目录介绍PreliminarieGlobaltrackingtransformers4.1Trackingtransformers4.2训练4.3OnlieInference4.4网络结构Experiments介绍本文提出了一种新的基于transformer的全局多目标跟踪体系结构。网络以一个短时间的帧序列作为输入，并为所有对象产生全局轨迹。核心组件是一个全局跟踪转换器，它操作序列中所有帧中的

CV矿工·2023-01-04 20:32

【Anaconda】遇到的安装问题汇总

sdependencyresolverdoesnotcurrentlytakeintoaccountallthepackagesthatareinstalled.Thisbehaviouristhesourceofthefollowingdependencyconflicts.这种很多的，可以把requires前的东西都按版本删了（比如transformers

Momahe·2023-01-04 18:06

第29期Datawhale组队学习——NLP之transformer

目录前言学习路线Task01：熟悉规则，学习概览（9.13）1、环境配置+本地阅读2、NLP之Transformers初了解Task02：attention和transformer（9.14、9.15）

yep吖·2023-01-04 18:55

传统卷积与Transformers 优缺点对比

近两年Transformer如日中天，刷爆各大CV榜单，但在计算机视觉中，传统卷积就已经彻底输给Transformer了吗？回答1作者：DLing链接：https://www.zhihu.com/question/531529633/answer/2819350360看在工业界还是学术界了。学术界，可能。工业界，一时半会还不会。近些年，transformer确实很火，论文层出不穷，刀法也很犀利，各

@BangBang·2023-01-04 18:53

nlp-问答任务-抽取式问答

如果您正在google的colab中打开这个notebook，您可能需要安装Transformers和Datasets库。将以下命令取消注释即可安装。#!

꧁ᝰ苏苏ᝰ꧂·2023-01-04 18:50

4.3-问答任务-抽取式问答

如果您正在google的colab中打开这个notebook，您可能需要安装Transformers和Datasets库。将以下命令取消注释即可安装。#!

gbchen99·2023-01-04 18:43

【修改huggingface transformers默认缓存文件夹】

Howtochangehuggingfacetransformersdefaultcachedirectory前言关于windows上如何修改huggingfacetransformers默认缓存文件夹前言最近在学习用TensorFlow框架做NLP任务，注意到huggingface中的transforms库非常强大，于是开始学习用它来做相应的任务。刚开始用这个库没多久，感觉确实操作起来既简单又强

zp_stu·2023-01-04 11:20

Hugging face 的入门使用

安装开发环境除了安装基本的python安装环境外，在Anaconda中安装datasets和transformers包。或者在JupyterNotebook中直接运行!

SCHLAU_tono·2023-01-04 11:19

使用huggingface全家桶(transformers, datasets)实现一条龙BERT训练(trainer)和预测(pipeline)

使用huggingface全家桶(transformers,datasets)实现一条龙BERT训练(trainer)和预测(pipeline)huggingface的transformers在我写下本文时已有

blmoistawinde·2023-01-04 11:16

HuggingFace——Trainer的简单使用

使用TrainerAPI微调模型[中文Course|API]Transformers提供了一个Trainer类来帮助在数据集上微调任何预训练模型。

Charon_HN·2023-01-04 11:46

使用transformer库时出现模型不存在的问题

解决方法：我之前使用的是transformers3.4.0版本，我猜测是因为版本问题出现的bug，所以把transformers升级到了最新的版本，然后在使用from_pretraine

LWJolex·2023-01-04 10:06

ACL2021中的25个Transformers模型

来自：AI部落联盟前言这次我们总结一下ACL2021中的Transformers，看看2021年了，NLPer在如何使用、应用、改进、分析Transformers，希望可以对大家产生idea有帮助。

zenRRan·2023-01-04 08:10

【NLP】ACL 2021中的25个Transformers模型

前言言归正传，这次我们总结一下ACL2021中的Transformers，看看2021年了，NLPer在如何使用、应用、改进、分析Transformers，希望可以对大家产生idea有帮助。

风度78·2023-01-04 08:08

有关于huggingface evaluate的使用

这个包挺难用的，而且不同版本的接口都有点不太一样，本博客以transformers==4.18.0,evaluate==0.4.0为例，示范一下如何使用evaluate进行常见的metrics的计算。

Reza.·2023-01-03 17:03

Transformers in 3D Point Clouds A Survey（翻译）

Transformersin3DPointClouds:ASurvey（翻译）卢德宁，谢倩，魏明强，高级会员，IEEE徐琳琳，会员，IEEE，李强生，高级会员，IEEE、原文链接：Transformersin3DPointClouds:ASurvey文章目录Transformersin3DPointClouds:ASurvey（翻译）I.简介II.TRANSFORMER实现A.操作规模B.操作空间

Zongshun Wang的博客·2023-01-03 12:36

pycharm创建torch-gpu虚拟环境

打开pycharm-》terminal打开python输入condacreate-npy37python=3.7python激活condaactivatepy37transformers安装pipinstalltransformerstorch-gpu

有梦想的鱼·2023-01-03 09:18

【NLP最佳实践】Huggingface Transformers实战教程

www.heywhale.com/home/activity/detail/61dd2a3dc238c000186ac330《HuggingfaceTransformers实战教程》是专门针对HuggingFace开源的transformers

致Great·2023-01-02 15:30

HuggingFace简明教程

视频链接：HuggingFace简明教程,BERT中文模型实战示例.NLP预训练模型,Transformers类库,datasets类库快速入门.

weixin_44748589·2023-01-02 15:30

Datawhale组队学习NLP_Bert序列标注学习笔记

本文为学习Datawhale2021.8组队学习NLP入门之Transformer笔记原学习文档地址：https://github.com/datawhalechina/learn-nlp-with-transformers1

宝友你好·2023-01-02 15:59

huggingface transformers 预训练模型加载参数设置

说明：1）proxies：服务器无法直接访问互联网需通过代理访问。2）cache_dir：model及dadaset文件过大多次容易导致服务器存储过高，手工选择存储位置。model/tokenizer.from_pretrained('bert-base-chinese',num_labels=32,proxies={'https':'http://10.X.X.X:1080'},cache_di

ct1976·2023-01-02 15:28

HuggingFace实战（一）

视频链接：HuggingFace简明教程,BERT中文模型实战示例.NLP预训练模型,Transformers类库,datasets类库快速入门.

weixin_44748589·2023-01-02 15:28

复现别人模型时huggingface自动下载的模型和文件保存位置

发现他们的位置是在C:\Users\用户名\.cache\torch\transformers

Fitz1318·2023-01-02 15:28

docker,pytorch,sentence-transformers,bitnami/pytorch,Killed,docker跑神经网络模型被kill

问题如下图：依赖都装完了，运行脚本就被kill我尝试只打印helloworld，能正常运行由于是在服务器测试的，我最终在个人电脑上测试个人电脑上没问题终究还是错付了，原因是服务器性能不够，可能是内存不够关于我服务器内存不够跑深度学习模型被kill这件事一个非常非常小的模型都跑不起来

Deng_Xian_Sheng·2023-01-02 11:53

GPT和GPT2结构的区别

GPT1结构图如下所示：GPT2结构图如下：注意，GPT2的最后一个LayerNorm在24个transformers或是12个transformers结构之后添加的，这里layernormalization

唐僧爱吃唐僧肉·2023-01-02 10:08

python3.7+anaconda3-5.3.1+pytorch1.10.1环境搭建

pytorch版本Readme当中的安装说明，它支持的python版本是3.6以上的，PyTorch是1.3.1以上的，所有我决定用python3.7来运行整个源码GitHub-huggingface/transformers

想飞的机器猫·2023-01-01 15:48

Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images

摘要卷积神经网络因为其卷积核的固有属性，其在远程建模方面存在着较大的问题。这可能导致对可变大小的肿瘤进行分割时存在不足。另一方面，Transformer在多个领域在捕获远程依赖信息方面表现出了出色的能力。本文提出了一个新的分割模型,称为SwinUNETR，具体来说，3D脑肿瘤语义分割被重新定义为一个序列到序列的预测问题，其中多模态输入数据被投影到一个1D嵌入序列当中，并用作分层SwinTransf

不想敲代码的小杨·2023-01-01 14:28

句子表征（各项异性等偏差）：PromptBERT: Improving BERT Sentence Embeddings with Prompts

这种现象也可以在Bert、GPT-2等预训练过的Transformers上观察到。二、已有的工作之前的一些工作

QianTu&·2023-01-01 07:59

计算文本矩阵相似度

Transformers库fromsentence_transformersimportSentenceTransformer,utilmodel=SentenceTransformer('all-MiniLM-L6

穆桥·2022-12-31 19:21

BertForSequenceClassification

Anaconda3\envs\env_name\Lib\site-packages\transformers\models\bert\modeling_bert.pyclassBertForSequenceClassification

weixin_42899049·2022-12-31 17:02

transformers加载roberta实现序列标注任务

transformers加载roberta实现序列标注任务最近在断断续续的学习huggingface的transformers，主要是运用transformers加载各种预训练模型实现序列标注。

xuanningmeng·2022-12-31 17:31

transformers本地加载roberta模型pytorch

本地加载roberta-base模型文件，roberta-large同理，只不过hidden_size从768变为1024，在该网站下载模型文件：roberta-baseatmain(huggingface.co)所需的有config.json,merges.txt,pytorch_model.bin(下载后重命名),vocab.json路径组织结构：└─model│merges.txt│voca

Arms206·2022-12-31 17:00

Transformers - Roberta(huggingface)

目录1Overview2RobertaConfig3RobertaTokenizer3.1classtransformers.RobertaTokenizer3.2build_inputs_with_special_tokens3.3get_special_tokens_mask3.4create_token_type_ids_from_sequences3.5save_vocabulary4Ro

无脑敲代码，bug漫天飞·2022-12-31 17:56

深度学习-Transformers in Vision: A Survey（视觉任务中的Transformer综述）

TransformersinVision:ASurvey0.摘要1.概述2.基础2.1.自注意力机制2.1.1.基本自注意力机制2.1.2.带掩膜的自注意力2.1.3.多头自注意力机制2.2.(自我)监督预训练2.3.TransformerModel2.4.双向表示（BidirectionalRepresentations）3.视觉任务中的自注意力机制3.1.单头注意力机制3.1.1.卷积神经网络

HheeFish·2022-12-31 12:59

Transformer 综述 & Transformers in Vision: A Survey

声明：因本人课题只涉及图像分类和目标检测，且此综述对这两个领域调查的比较多，所以此文章只对图像分类和目标检测进行精读。若是对[]中的论文感兴趣，到原论文中查阅参考文献即可。下图是综述内容涉及的计算机视觉十大领域（图像识别、目标检测、语义和实例分割、视频分析和分类、视觉问答、视觉常识推理、图像描述、视觉语言导航、聚类、小样本学习和3D数据分析）。ViT和DETR两大经典论文，强烈推荐阅读，可访问本人

Flying Bulldog·2022-12-31 12:25

Transformers 库在NLP任务上的入门与使用

文章目录0库1pipeline1.1介绍1.2用于某个任务1.2.1情感分析默认模型自定义tokenizer和model1.3QA问答2载入预训练的模型3预处理3.1tokenizer3.1.1编码（encode）3.1.2解码（decode）3.1.3批处理3.1.4其它参数设置填充（Pad）截断（Truncation）构建张量（Buildtensors）4微调一个预训练模型4.1准备数据集4.

iteapoy·2022-12-30 21:31

使用Transformers离线模型（以bert模型为例）

首先需要安装transformers：pipinstalltransformers以bert-base-uncased为例，进入网站：https://huggingface.co/bert-base-uncased

呆萌的代Ma·2022-12-30 14:49

离线使用huggingface bert对文本编码

bert-base-uncased的文件夹中3.使用以下代码获得词编码fromtransformersimportBertModel,BertTokenizercheckpoint='/data1/xsy/transformers

鸡丝米线·2022-12-30 14:17

Transforming the Latent Space of StyleGAN for Real Face Editing翻译

为了解决这个问题，我们建议通过用基于注意力的transformers替换StyleGAN映射网络中的全连接层来扩展潜在空间。

jjw_zyfx·2022-12-30 13:13

ValueError: tensorflow.spec is None

问题原因：transformers的版本号不兼容处理方法：将fromtransformersimportBertTokenizer改为frompytorch_transformersimportBertTokenizer

有梦想的鱼·2022-12-30 10:13

基于tensorflow2.0+使用bert获取中文词、句向量并进行相似度分析

本文基于transformers库，调用bert模型，对中文、英文的稠密向量进行探究开始之前还是要说下废话，主要是想吐槽下，为啥写这个东西呢？

何强棒棒·2022-12-30 10:17

读论文---Scalable Diffusion Models with Transformers

Figure1.Diffusionmodelswithtransformerbackbonesachievestate-of-the-artimagequality.Weshowselectedsamplesfromtwoofourclass-conditionalDiT-XL/2modelstrainedonImageNetat512×512and256×256resolution,respec

计算机视觉-Archer·2022-12-30 10:01

ImportError: cannot import name ‘WarmupLinearSchedule‘ from ‘transformers‘

报错信息transformers当前版本4.18.0将transformers版本调整为2.2.1即执行命令pipinstalltransformers==2.1.1问题解决

XiaChan_26·2022-12-30 10:28

Learn NLP with Transformer (Chapter 6)

BERT应用Task06BERT应用本次学习参照Datawhale开源学习：https://github.com/datawhalechina/learn-nlp-with-transformers内容大体源自原文

黑小板·2022-12-30 10:28

Huggingface-NLP笔记7：使用Trainer API来微调模型

「HuggingfaceNLP笔记系列-第7集」最近跟着Huggingface上的NLPtutorial走了一遍，惊叹居然有如此好的讲解Transformers系列的NLP教程，于是决定记录一下学习的过程

javastart·2022-12-30 10:27

Python: BERT Error - Some weights of the model checkpoint at were not used when initializing BertMod

在调用transformers预训练模型库时出现以下信息：Someweightsofthemodelcheckpointatbert-base-multilingual-casedwerenotusedwheninitializingBertForTokenClassification

Obolicaca·2022-12-30 09:57

transformers库中使用DataParallel保存模型参数时遇到的问题记录

pytorch中使用DataParallel保存模型参数时遇到的问题记录之前使用Transformers库中的Bert模型在自己的文本分类任务上使用Transformers库里的Trainer方式进行了

11好好学习，天天向上·2022-12-30 09:57

基于pytorch的bert使用方法

参考：Bert提取句子特征（pytorch_transformers）BERT-Pytorchdemo初探

飞驰的拖鞋·2022-12-30 01:59

paddlenlp调用ERNIE

pipinstallpaddlepaddlepipinstallpaddlenlp下载预训练模型importpaddlenlp#加载ERNIE预训练模型MODEL_NAME="ernie-3.0-medium-zh"ernie_model=paddlenlp.transformers.ErnieModel

lucky_chaichai·2022-12-30 01:54

推荐频道

Transformers》