Transformers》

调用transformers及bitsandbytes库CUDA报错

这里写自定义目录标题CUDA报错解决方法CUDA报错最近在win10系统中，使用transformers库进行进行模型推理时，遇到了一个问题：File‘bitsandbytes/cextension.py
Travelsal820·2023-09-27 00:43

论文笔记：ViTGAN: Training GANs with Vision Transformers

20211intro论文研究的问题是：ViT是否可以在不使用卷积或池化的情况下完成图像生成任务即不用CNN，而使用ViT来完成图像生成任务将ViT架构集成到GAN中，发现现有的GAN正则化方法与self-attention机制的交互很差，导致训练过程中严重的不稳定——>引入了新的正则化技术来训练带有ViT的GANViTGAN模型远优于基于Transformer的GAN模型，在不使用卷积或池化的情况
UQI-LIUWJ·2023-09-26 20:16

EfficientFormer:高效低延迟的Vision Transformers

我们都知道Transformers相对于CNN的架构效率并不高，这导致在一些边缘设备进行推理时延迟会很高，所以这次介绍的论文EfficientFormer号称在准确率不降低的同时可以达到MobileNet
deephub·2023-09-26 18:18

EfficientFormer:高效低延迟的Vision Transformers

我们都知道Transformers相对于CNN的架构效率并不高，这导致在一些边缘设备进行推理时延迟会很高，所以这次介绍的论文EfficientFormer号称在准确率不降低的同时可以达到MobileNet
·2023-09-26 10:00

LLM 基础-transformers 库快速入门

一，Transformers术语1.1，token、tokenization和tokenizer1.2，inputIDs1.3，attentionmask1.4，bos_token、eop_token、
嵌入式视觉·2023-09-25 23:04

Python深度学习入门 - - Transformers网络学习笔记

前言一、Transformers架构原理Transformer架构与传统循环神经网络RNN、LSTM相比具有并行计算、自注意力机制、位置编码和多头注意力等方面的差异。
szu_ljm·2023-09-25 20:53

【转载】【NLP】使用 PyTorch 通过 Hugging Face 使用 BERT 和 Transformers 进行情感分析

参考https://blog.csdn.net/sikh_0529/article/details/127950840目的：用transformers加载自己的数据进行训练，然后做预测知识点补充什么是BERT
mwcxz·2023-09-25 19:26

Pytorch模型转ONNX遇到Unexpected node type: onnx:: Sub

参考GPTDoubleHeadsModelUnexpectednodetype:onnx::Sub·Issue#4950·huggingface/transformers(github.com)此问题相关文档较少
Chunming-Li·2023-09-25 18:03

自然语言处理: 第十一章BERT(Bidirectional Encoder Representation from Transformers)

论文地址:[1810.04805]BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding(arxiv.org)理论基础之前介绍GPT的搭建的方式的时候，将BERT与GPT进行了对比，我们可以知道BERT和GPT都是基于transformer架构下的分支，二者在最初提出的时间差不多，但是却有着完全不同的走向，以
曼城周杰伦·2023-09-24 18:16

如何成功将 API 客户的 transformer 模型推理速度加快 100 倍

Transformers已成为世界各地数据科学家用以探索最先进NLP模型、构建新NLP模块的默认库。它拥有超过5000个预训练和微调的模型，支持250多种语言，任君取用。
·2023-09-24 11:24

YOLOv5、YOLOv8改进：C3STR（Swin Transformer）

目录1.介绍2.YOLOv5、YOLOv8改进2.1common.py配置2.2yolo.py配置2.3yaml配置文件1.介绍视觉领域正在见证从CNN到Transformers的建模转变，纯Transformer
陈子迩·2023-09-24 08:32

如何将 Transformer 应用于时间序列模型

在机器学习的广阔前景中，transformers就像建筑奇迹一样高高耸立，以其复杂的设计和捕获复杂关系的能力重塑了我们处理和理解大量数据的方式。
冷冻工厂·2023-09-24 07:09

李宏毅-hw7-利用Bert完成QA

一、查漏补缺、熟能生巧：只有熬过不熟练的时期，反复琢磨，才会有熟练之后，藐视众生的时刻1.关于transformers中的tokenizer的用法的简单介绍：fromtransformersimportBertTokenizerFast
诚威_lol_中大努力中·2023-09-23 22:33

Hugging Face Transformers 错误解决方案

BlueStragglers分享技术成长的快乐近期项目用到了Transformers。
愚昧之山绝望之谷开悟之坡·2023-09-23 00:59

【DETR】End-to-End Object Detection with Transformers

End-to-EndObjectDetectionwithTransformers  整个模型的主要思想是把物体检测问题看作一个集合到集合的预测问题，将图片切分成一个个Patches。然后进行位置编码，利用TransformerEncoder和Decoder进行编码和解码，最后使用FFN进行分类和坐标的回归。
P.H. Infinity·2023-09-22 19:45

Chinese-LLaMA-AIpaca

Chinese-LLaMA-Alpaca一、LLaMA模型-->HF格式二、合并LoRA权重，生成全量模型权重方式1：单LoRA权重合并方式2：多LoRA权重合并（适用于Chinese-Alpaca-Plus）三、使用Transformers
伊织code·2023-09-22 14:10

CMT:卷积与Transformers的高效结合

论文提出了一种基于卷积和VIT的混合网络，利用Transformers捕获远程依赖关系，利用cnn提取局部信息。构建了一系列模型cmt，它在准确性和效率方面有更好的权衡。
数据派THU·2023-09-22 04:42

如何将 Transformer 应用于时间序列模型

在机器学习的广阔前景中，transformers就像建筑奇迹一样高高耸立，以其复杂的设计和捕获复杂关系的能力重塑了我们处理和理解大量数据的方式。
·2023-09-22 01:07

微调预训练模型huggingface，transformers

首先加载YelpReviews数据集：fromdatasetsimportload_datasetdataset=load_dataset("yelp_review_full")dataset["train"][100]如您现在所知，您需要一个分词器来处理文本，并包括填充和截断策略来处理任何可变序列长度。若要在一个步骤中处理数据集，请使用Datasetsmap方法对整个数据集应用预处理函数：fro
CCCS实验室L&Y·2023-09-20 16:44

transformers Bert微调Trainer

参考：https://huggingface.co/docs/transformers/traininghttps://github.com/huggingface/transformers/blob/
loong_XL·2023-09-20 16:13

详解Hugging Face Transformers的TrainingArguments

前言：TrainingArguments是HuggingFaceTransformers库中用于训练模型时需要用到的一组参数，用于控制训练的流程和效果。使用示例：fromtransformersimportTrainer,TrainingArgumentstraining_args=TrainingArguments(output_dir="result")trainer=Trainer(mode
若石之上·2023-09-20 16:10

在PyTorch里面利用transformers的Trainer微调预训练大模型

背景transformers提供了非常便捷的api来进行大模型的微调，下面就讲一讲利用Trainer来微调大模型的步骤第一步：加载预训练的大模型fromtransformersimportAutoModelForSequenceClassificationmodel
若石之上·2023-09-20 16:08

ChatGLM 如何应用一个BERT

涉及到的jupyter可以在代码库：篇章3-编写一个Transformer模型：BERT，下载本文基于Transformers版本4.4.2（2021年3月19日发布）项目中，pytorch版的BERT
张志翔的博客·2023-09-19 19:57

ChatGLM HuggingFace调用Bert词向量

开发环境推荐GPUDokcer$dockerpullhuggingface/transformers-pytorch-gpu:4.19.4CPUDokcer$dockerpullhuggingface/
张志翔的博客·2023-09-19 16:37

论文笔记：Not All Images are Worth 16x16 Words: Dynamic Vision Transformers with Adaptive Sequence Length

21neurips1intro1.1背景以ViT：《AnImageisWorth16x16Words:TransformersforImageRecognitionatScale》为代表的视觉Transformer通常将图像数据划分为固定数目的patch将每个patch对应的像素值采用线性映射等方式嵌入为一维的token，作为Transformer模型的输入假设模型结构固定，即每个token的维度
UQI-LIUWJ·2023-09-18 14:54

【计算机视觉】Vision Transformers算法介绍合集（一）

文章目录一、VisionTransformer二、SwinTransformer三、DetectionTransformer四、Data-efficientImageTransformer五、self-DIstillationwithNOlabels六、DeformableDETR七、CompactConvolutionalTransformers八、NesT九、PyramidVisionTran
旅途中的宽~·2023-09-17 08:03

【Paper】Transformers in Times Series: A Suervey

AbstractInthispaper,wesysytematicallyreviewTransformerschemesfortimeseriesmodelingbyhignlightingtheirstrengthsaswellaslimitations.inparticular,weexaminethedevelopmentoftimeseriesTransformersintwopersp
Dovake·2023-09-17 02:00

RetNet：万众期待的 Transformers 杀手

动动发财的小手，点个赞吧！Transformer已成为大语言模型上的架构，因为它有效地克服了循环神经网络(RNN)的顺序训练问题。然而，Transformer也并不完美，因为它们仅解决了所谓“impossibletriangle”的两条臂。微软的RetNet声称位于这个“impossibletriangle”的正中心，胜过了所有尝试过但未能实现这一壮举的方法。突破：RetNet具有更好的语言建模性
冷冻工厂·2023-09-17 01:49

Hugging Face使用Stable diffusion Diffusers Transformers Accelerate Pipelines

DiffusersAlibrarythatoffersanimplementationofvariousdiffusionmodels,includingtext-to-imagemodels.提供不同扩散模型的实现的库，代码上最简洁，国内的问题是huggingface需要。TransformersAHuggingFacelibrarythatprovidespre-traineddeeplear
linzhiji·2023-09-16 23:05

Huggingface:免费开源AI人工智能API工具平台

【团队介绍】•创始人ClémentDelangue•总部位置美国纽约【产品结构】HuggingFace平台主要包括以下几个部分：Transformers
Mr.长安·2023-09-16 21:58

RepViT：从ViT视角重新审视移动CNN

摘要https://arxiv.org/pdf/2307.09283.pdf近年来，与轻量级卷积神经网络(CNN)相比，轻量级视觉Transformers(ViTs)在资源受限的移动设备上表现出了更高的性能和更低的延迟
静静AI学堂·2023-09-16 18:22

Transformers源码阅读——BertModel

BertModel类的源码：Transformers项目的modeling_bert.py的BertModel类画出结构图如下：（PS：最近因为需要，重新看了一下，发现有个地方画错了，BertOutput
pyxiea·2023-09-16 09:56

已经解决：No model name: transformers.modeling_bert

问题参考：Nomodelname:transformers.modeling_bert在使用transformer库时遇到问题fromtransformers.modeling_bertimportBertPreTrainedModel
精分天秤座的mystery·2023-09-16 09:55

报错ModuleNotFoundError: No module named ‘transformers.modeling_bert‘

报错位置：fromtransformers.modeling_bertimportBertPredictionHeadTransform,BertAttention,BertIntermediate,BertOutput解决方案：报错位置改成：fromtransformers.models.bert.modeling_bertimportBertPredictionHeadTransform,Be
Wingsang·2023-09-16 09:54

ModuleNotFoundError: No module named ‘transformers.modeling_bert‘解决方案

  大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。  本文主要介绍了ModuleNotFoundErro
爱编程的喵喵·2023-09-16 09:53

【计算机视觉 | 图像模型】常见的计算机视觉 image model（CNNs & Transformers） 的介绍合集（十）

文章目录一、GreedyNAS-A二、ASLFeat三、GreedyNAS-B四、Twins-PCPVT五、MoGA-A六、MoGA-C七、Visformer八、Multi-HeadsofMixedAttention九、LocalViT十、SPP-Net十一、TheIkshanaHypothesisofHumanSceneUnderstandingMechanism十二、DetNASNet十三、T
旅途中的宽~·2023-09-15 22:23

【计算机视觉 | 图像模型】常见的计算机视觉 image model（CNNs & Transformers） 的介绍合集（九）

文章目录一、GreedyNAS-C二、RegionViT三、DenseNAS-B四、DenseNAS-C五、DiCENet六、uNetXST七、CSPPeleeNet八、PocketNet九、OODformer十、DeepSIM十一、ConditionalPositionEncodingVisionTransformer（CPVT）十二、ESPNetv2十三、ShuffleTransformer十
旅途中的宽~·2023-09-15 22:53

【deepspeed】【训练】【交互】【wandb】训练过程中的wandb交互如何去除

中没有显示脚本的完整路径，顺着log中前面的脚本路径，找到了这个脚本，是和框架的其他py文件在一个目录下的完整的路径是这样的：/usr/local/lib/python3.8/dist-packages/transformers
qq_29707567·2023-09-15 19:52

Transformers库中的pipeline模块支持的NLP任务

Transformers库中的pipeline模块支持的NLP任务Transformers库中的pipeline模块支持以下的NLP任务:TextClassification(文本分类):文本分类任务,
engchina·2023-09-15 11:44

【计算机视觉 | 图像模型】常见的计算机视觉 image model（CNNs & Transformers） 的介绍合集（七）

文章目录一、CSPResNeXt二、ProxylessNet-Mobile三、ProxylessNet-CPU四、RandWire五、MCKERNEL六、Assemble-ResNet七、Convolution-enhancedimageTransformer(CeiT)八、IICNet九、RegNetX十、SCARLET十一、ProxylessNet-GPU十二、VATT十三、GPU-Effic
旅途中的宽~·2023-09-15 10:44

【计算机视觉 | 图像模型】常见的计算机视觉 image model（CNNs & Transformers） 的介绍合集（六）

文章目录一、Co-ScaleConv-attentionalImageTransformer（CoaT）二、PyramidVisionTransformerv2(PVTv2)三、Class-AttentioninImageTransformers（CaiT）四、PoolFormer五、ScaleNet六、VoVNet七、SiameseU-Net八、Single-pathNAS九、XCiT十、Cro
旅途中的宽~·2023-09-15 10:43

DETR：End-to-End Object Detection with Transformers

代码：https://github.com/HuKai97/detr-annotations论文：https://arxiv.org/pdf/2005.12872.pdf参考视频：DETR论文精读【论文精读】_哔哩哔哩_bilibili团队：MetaAI摘要DETR做目标检测任务既不需要proposal，也不需要anchor，直接用Transformer全局预测能力把目标检测看成一个集合预测的问题
Scabbards_·2023-09-15 08:56

InternImage：探索具有可变形卷积的大规模视觉基础模型

点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院公众号ID｜计算机视觉研究院学习群｜扫码在主页获取加入方式计算机视觉研究院专栏ColumnofComputerVisionInstitute与近年来大规模视觉transformers
计算机视觉研究院·2023-09-15 04:42

Transformers-Bert家族系列算法汇总

Transformers提供API和工具，可轻松下载和训练最先进的预训练模型。使用预训练模型可以降低计算成本、碳足迹，并节省从头开始训练模型所需的时间和资源。
源代码杀手·2023-09-14 16:59

基于Transformers的自然语言处理入门【三】-Bert

基于Transformers的自然语言处理入门【三】-Bert1Bert模型2模型结构3预训练任务：MaskedLanguageModel4Bert特征提取1Bert模型2018年是自然语言处理技术的一个转折点
hezzfew·2023-09-13 21:38

FastChat工作原理解析

Hugggingface提供的Transformer库HuggingFace的Transformers库是一个用于自然语言处理（NLP）任务的Python库，旨在简化和加速使用预训练语言模型（如BERT
taoli-qiao·2023-09-13 04:09

Hugging Face--Transformers

AutoTokenizerAutoModel保存模型自定义模型构建Trainer-PyTorch优化训练循环参考资料Transformers简介
studyeboy·2023-09-13 00:42

BEVFromer论文研读

BEVFormer有6个encoder层，每一个encoder除了本文自定义的三个组件外都和传统的transformers结果一致。自定义的三个组件分别是网格状的BEVqueries，TSA和SCA。
高的好想出去玩啊·2023-09-12 18:22

【transformer】动手学ViT

TRANSFORMERSFORIMAGERECOGNITIONATSCALE摘要Method实验代码-基于pytorchTrainingVisualTransformeronDogsvsCatsData注释一些词汇ICLR2021一幅图像值16x16个字：用于图像识别的transformers
ca1m4n·2023-09-11 13:25

LEARNING TO GROW PRETRAINED MODELS FOR EFFICIENT TRANSFORMER TRAINING

开始于2023年7月29号摘要通过学习增长预训练（growpretrained）的transformers来加速transformer的训练过程，通过学习通过线性映射用较小的模型参数初始化较大的模型。
诗子黎·2023-09-11 06:51
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他