TRANSFORMERS 第16页

Transformer 相关阅读材料

手把手教你用Pytorch-Transformers——部分源码解读及相关说明（一）手把手教你用Pytorch-Transformers——实战（二）图解transformer结构transformers_multi_label_classificationBERT

音符纸飞机·2023-02-04 14:34

一些适合初学者复现的深度学习项目推荐（CNN,GCN,Transformers，U-Net）

项目一：使用简单的CNN网络实现猫狗分类，在此推荐GitHub一位大佬的开源工作：利用CNN实现猫狗图片分类，这个任务足够简单，且训练集和测试集并不算大，配置不高的电脑也能胜任，项目里数据集完整，按照readme说明配置pytorch环境可以直接运行，无需更改设置。关于代码的具体详解，可以参考大佬的超级详解：代码详解，这位大佬也是一个图深度学习的大佬，有兴趣学习图机器学习可以关注他的公众号：ki的

煦風XOF·2023-02-04 09:23

Hugging face教程-使用速查表-快速入门

fw=pt函数详细情况：https://huggingface.co/docs/transformers/main_classes/pipelines#transformers.TokenClassificationPipeline

Remember00000·2023-02-03 14:03

【量化】PTQ4ViT: Post-Training Quantization Framework for Vision Transformers

这是北京大学和后摩智能联合发表的一篇论文，已经被2022年的cvpr收录。github地址：https://github.com/hahnyuan/PTQ4ViT文章创新点：作者的idea来源于对ViT中激活值的分布的观察，以及对不同评估量化误差的指标对比的观察。softmax的激活值具有很不均匀的分布，大部分的值都接近于0。其它大的值虽然数量很小，但是它们意味着两个patch之间具有很高的att

Treasureashes·2023-02-03 14:58

Separable Self-attention for Mobile Vision Transformers

paper链接:https://arxiv.org/pdf/2206.02680.pdfcode链接:https://github.com/apple/ml-cvnetsSeparableSelf-attentionforMobileVisionTransformers(一)、引言(二)、实现细节(三)、实验(一)、图像分类(二)、语义分割(三)、目标检测(一)、引言移动视觉transformer

小小小~·2023-02-03 13:43

DETR：使用transformer进行端到端目标检测

论文地址：https://arxiv.org/pdf/2005.12872.pdf目录0、摘要1、引言2、相关工作2.1、集合预测2.2、transformers和并行解码2.3、目标检测基于集合的损失

叶舟·2023-02-03 12:28

基于text2vec进行文本向量化、聚类

基于text2vec进行文本向量化、聚类基于text2vec进行文本向量化、聚类介绍安装安装text2vec库安装transformers库模型下载文本向量化使用text2vec使用transformers

楚楚小甜心·2023-02-03 12:57

使用与下载huggingface的各种预训练模型的方法

使用只需下载好transformers即可：pipinstalltransformers引用模型也很简单，三句话搞定：fromtransformersimportAutoTokenizer,AutoModeltokenizer

六六六六神·2023-02-03 11:06

位置编码 Positional embeddings in transformers

https://www.youtube.com/watch?v=1biZfFLPRSY在不同位置，使用sin和cos波取值，可以将语义向量在高维空间作位移。由于取值范围是[-1,1]，所以不会出现将向量推离太远的情况。如果sin波长较小，则相邻位置之间的取值差别较大，但低位置与高位置之间可能出现重复取值。模型能够辨别相邻位置的区别，但难以辨别其他周期的等值点。若sin波长较大，则低位置与高位置之间

Melody2050·2023-02-02 18:01

时间序列分析 | Python实现Transformers时间序列预测时间序列预测（Exponential Smoothing Transformers）

时间序列分析|Python实现Transformers时间序列预测时间序列预测（ExponentialSmoothingTransformers）目录时间序列分析|Python实现Transformers

小橘算法屋·2023-02-02 11:51

关键点匹配——商汤loFTR算法详解与论文解读

//openaccess.thecvf.com/content/CVPR2021/papers/Sun_LoFTR_Detector-Free_Local_Feature_Matching_With_Transformers_CVPR

樱花的浪漫·2023-02-02 11:20

基于transformer和相关预训练模型的任务调优

使用的环境依赖:python3.9'''对应的依赖：tensorflow==2.11.0transformers==4.26.0pandas==1.3.5scikit-learn==1.0.2'''模型的训练代码如下

会发paper的学渣·2023-02-02 09:29

论文解读《TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation》

论文解读《TransUNet:TransformersMakeStrongEncodersforMedicalImageSegmentation》TransUNet:用于医学图像分割的变压器强编码器发表期刊：CVPR2021代码：代码链接论文：论文链接一、摘要：在各种医学图像分割任务上，u形架构（也称为U-Net）已成为事实上的标准并取得了巨大的成功。但是，由于卷积运算的内在局限性，U-Net通常

渔歌畅晚·2023-02-01 20:16

阅读笔记-TransVOS: Video Object Segmentation with Transformers

image.png文章要解决的任务是semi-supervisedvideoobjectsegmentation,该任务的定义是给定一段图像序列，其中第一帧提供了目标的mask，希望能够通过算法获得其后逐帧的目标mask。motivation目前解决该任务的主流方法是基于匹配的方法，其基本思想是计算当前帧与历史帧中目标的相似度，确定当前帧中哪些是前景区域。代表性方法比如STM等，构建当前帧的每个像

熙熙江湖·2023-02-01 17:46

基于脱敏数据，使用huggingface的Transformers预训练模型

背景：一些竞赛给的是脱敏数据，中文竞赛一般将汉字表示为一个整数，汉字间用空格分割，在这样的数据集上想要预训练一个自己的模型，可以参考这个文章。首先介绍本文参考的文章：1、别人做的该任务的总结2、官方tokenizer训练tokenizer注：这里我使用的是wordlevel的，和参考文档中wordpiece的不同，因为我认为脱敏得到的数字前缀没有意义。importpandasaspdfromtok

翻滚牛犊·2023-02-01 16:15

如何使用HuggingFace训练Transformer

HuggingFaceTransformersTokenizerModel下游任务HuggingFaceTransformers使用BERT和其他各类Transformer模型，绕不开HuggingFace提供的Transformers

玄心阮·2023-02-01 16:15

ERROR: Could not install packages due to an OSError: [Errno 13] Permission denied: pip安装权限问题

1、问题描述：在使用pip安装transformers时，报如下错误：pipinstalltransformersERROR:CouldnotinstallpackagesduetoanOSError:

lucas-nlp·2023-02-01 01:34

BERT模型

模型Paper:https://arxiv.org/abs/1810.04805BERT全称为BidirectionalEncoderRepresentationfromTransformers（来自Transformers

发呆的比目鱼·2023-01-31 12:33

Bert系列解读及改进

1.1特点不采用传统单向语言模型或者两个单向语言模型浅层特征拼接的方式进行预训练；采用MLM任务对双向的Transformers进行预训

&永恒的星河&·2023-01-31 11:11

问题总结：ERROR: Could not find a version that satisfies the requirement transformers

问题描述：安装trantsformers时出现以下问题，按照网上的方法改了很久还是不行，后来终于改好了(base)root@adbb5f70256b:~#pipinstalltrantsformersWARNING:Retrying(Retry(total=4,connect=None,read=None,redirect=None,status=None))afterconnectionbrok

++加油呀·2023-01-31 11:07

NLP 进行文本摘要的三种策略代码实现和对比：TextRank vs Seq2Seq vs BART

本文将使用Python实现和对比解释NLP中的3种不同文本摘要策略：老式的TextRank（使用gensim）、著名的Seq2Seq（使基于tensorflow）和最前沿的BART（使用Transformers

数据派THU·2023-01-31 11:34

python tips003 ——DataLoader的collate_fn参数使用详解

背景最近在看sentences-transformers的源码，在有一个模块发现了dataloader.collate_fn，当时没搞懂是什么意思，后来查了一下，感觉还是很有意思的，因此来分享一下。

yuanzhoulvpi·2023-01-31 07:23

huggingface使用BERT对自己的数据集进行命名实体识别方法

以此篇文章作为在学习过程中的记录和笔记，由于transformers库的使用非常广泛，而由于文档采用英文书写。

vanilla_hxy·2023-01-30 21:25

HuggingFace BERT源码详解：基本模型组件实现

©PaperWeekly原创·作者|李泺秋学校|浙江大学硕士生研究方向|自然语言处理、知识图谱本文记录一下对HuggingFace开源的Transformers项目代码的理解。

PaperWeekly·2023-01-30 21:55

huggingface中Bert模型的简单使用

因为项目和毕设的缘故，做了挺多关于Bert分类的实际操作的，本文主要记录下transformers库中使用较多的类。

会唱歌的猪233·2023-01-30 21:25

Huggingface简介及BERT代码浅析

Huggingface是一家总部位于纽约的聊天机器人初创服务商，令它广为人知的是HuggingFace专注于NLP技术，拥有大型的开源社区，尤其是在github上开源的自然语言处理，预训练模型库Transformers

DRACO于·2023-01-30 21:25

在Huggingface Transformers中使用DeepSpeed加速训练

Transformers支持多种加速库，例如Fairseq使用的FairScale，这里只是使用了DeepSpeed，但加速方法不只一种1.DeepSpeedDeepSeed是一个针对大规模模型预训练和微调加速的一个库

Chromatica_·2023-01-30 20:48

transformer库使用

Transformer库我们可以使用Transformers库提供的API轻松下载和训练最先进的预训练模型。使用预训练模型可以降低计算成本，以及节省从头开始训练模型的时间。

big_matster·2023-01-30 18:33

2. Transformer相关的原理（2.1.图解attention）

参考图解Attention篇章1中我们对Transformers在NLP中的兴起做了概述，本篇章将从attention开始，逐步对Transformer结构所涉及的知识进行深入讲解，希望能给读者以形象生动的描述

sunshinecxm_BJTU·2023-01-30 16:55

Ubuntu SMP 16.04.1使用huggingface/transformers 4.8.2报错 version `GLIBC_2.29‘ not found

在GPU服务器上使用新版的transformers包报了一个错ImportError:/lib/x86_64-linux-gnu/libm.so.6:version`GLIBC_2.29'notfound

梆子井欢喜坨·2023-01-30 13:20

autodl 网盘下载transformers内置包很慢解决办法

https://www.autodl.com/console/instance/list?_random_=1674995902435点击清理可以解决下载慢的问题

琪琪%￥%·2023-01-30 13:18

python下载 transformers库报错解决

pipinstalltransformers-ihttps://pypi.tuna.tsinghua.edu.cn/simplepipinstalltransformers-ihttps://pypi.tuna.tsinghua.edu.cn/simple这样子就可以完美的解决了

琪琪%￥%·2023-01-30 13:40

BERT预训练语言模型

Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding》有五个关键词，分别是Pre-training、Deep、Bidirectional、Transformers

杞墨·2023-01-30 09:04

Hugging News 年度特刊: Transformers & Gradio 年终大事件总结

Transformers年终大事件总结对于Transformers来说，这是激动人心的一年。

·2023-01-29 17:42

Huggingface-transformers项目源码剖析及Bert命名实体识别实战

文章目录一、Huggingface-transformers介绍二、文件组成三、config四、Tokenizer五、基本模型BertModel六、序列标注任务实战（命名实体识别）1.加载各类包（略）2

野猪向前冲_真·2023-01-29 16:39

一文带你入门图机器学习

最后，我们将一窥图数据上的Transformers世界。什么是图？本质上来讲，图描述了由关系互相链接起来的实体。现实中有很多图的例子，包括社交网络

·2023-01-29 13:33

2021-A Survey of Transformers

下面是4种类的对应的文章：transform分类图taxonomy3.研究动机这应该是第一篇关于Transformers结构的综述

andyham·2023-01-28 13:06

Boosting Crowd Counting with Transformers

TAM与RTM（人群计数）提出问题：通过将更大的上下文集成到卷积神经网络（CNN）中，在人群计数问题上取得了重大进展。解决方法：研究了全局上下文在人群计数中的作用。提出了两个新的模块：token注意模块（TAM）和回归token模块（RTM）。引入token注意模块（TAM）来细化由上下文token通知的编码特征。使用回归token模块（RTM）进一步指导上下文token的学习，该模块在人群总数的

Yunpeng1119·2023-01-28 09:38

谷歌：CNN击败Transformer，有望成为预训练界新霸主！LeCun却沉默了...

作为一个入行不久的小白，我一直以为各类基于Transformers结构的预训练模型是NLP的巨大里程碑，CNN、RNN老矣，只配作为手下败将。

夕小瑶·2023-01-28 09:48

HuggingFace Transformers框架使用教程

本文记录使用PyTorch、HuggingFace/Transformers框架工作流程，仅供参考。介绍官网地址为HuggingFace。

richardxp888·2023-01-28 09:17

Hugging Face 的 Transformers 库快速入门（一）开箱即用的 pipelines

使用分词器进行预处理将预处理好的输入送入模型对模型输出进行后处理总结前言Transformers是由HuggingFace开发的一个NLP包，支持加载目前绝大部分的预训练模型。随着BERT、GPT

liu_chengwei·2023-01-28 08:13

用huggingface.transformers.AutoModelForSequenceClassification在文本分类任务上微调预训练模型

诸神缄默不语-个人CSDN博文目录本文属于huggingface.transformers全部文档学习笔记博文的一部分。

诸神缄默不语·2023-01-28 08:41

图像翻译/Transformer：ITTR: Unpaired Image-to-Image Translation with Transformers用Transfor进行非配对图像对图像的转换

图像翻译/Transformer：ITTR:https://arxiv.org/abs/2203.16015用Transformer进行非配对图像对图像的转换0.摘要1.概述2.方法2.1.预备知识2.2.整体架构2.3.混合感知块2.4.双重修剪自我注意2.5.目标论文地址0.摘要未配对图像到图像的翻译是在没有成对训练数据的情况下，将图像从源域翻译到目标域。通过利用CNN提取局部语义，人们开发了

HheeFish·2023-01-27 15:50

Hugging News 年度特刊: Transformers & Gradio 年终大事件总结、红包封面补货 & 春节放假通知...