transformers 第2页

大模型训练优化方法

本文主要参考HF上的一篇文章：https://huggingface.co/docs/transformers/perf_train_gpu_one，以及笔者在实际训练中的一些经验，给出一些比较实用的方法

少喝冰美式·2024-08-30 05:28

论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Retrieval-AugmentedGenerationforKnowledge-IntensiveNLPTaskscode:https://github.com/huggingface/transformerscode:https://github.com/huggingface/transformers

Ian_Wonder·2024-08-28 18:27

欺诈文本分类微调（六）：Lora单卡训练

关于训练器，使用transformers库中提供的Trainer类。2.数据准备2.1加载数据导入要使用的基础包。impor

沉下心来学鲁班·2024-08-25 11:27

使用 Hugging Face Transformers 创建文本生成模型

文本生成是自然语言处理中的一个重要任务，在聊天机器人、自动写作等领域有着广泛的应用。HuggingFaceTransformers是一个流行的Python库，它提供了大量预训练的模型以及API来实现各种自然语言处理任务。本文将详细介绍如何使用HuggingFaceTransformers库来创建一个简单的文本生成模型，并且展示如何使用该模型生成新的文本。文本生成是自然语言处理中的一项重要技术，可以

Envyᥫᩣ·2024-08-25 05:47

transformers调用llama的方式

transformers调用llama的使用方式不同版本llama对应的transformers库版本llama2llama3Meta-Llama-3-8B-InstructMeta-Llama-3-8Bllama3.1Meta-Llama

myccver·2024-08-23 13:11

chatGLM-6B部署报错quantization_kernels_parallel.so‘ (or one of its dependencies). Try using the full pat

chatglm2时候报错：FileNotFoundError:Couldnotfindmodule'C:\Users\Administrator\.cache\huggingface\modules\transformers_modules

FL1623863129·2024-03-20 14:25

【学习总结】Python transformers AutoTokenizer encode 出现的 101 和 102

1.代码展示：fromtransformersimportAutoTokenizer,AutoModelmodel_name="bert-base-chinese"tokenizer=AutoTokenizer.from_pretrained(model_name)model=AutoModel.from_pretrained(model_name)print(len(tokenizer.voca

爱学习的小道长·2024-03-14 14:10

深度学习踩坑记录（持续更新）

目录4060显卡cuda版本异常transformers初始化TrainingArguments时output_dir指定问题4060显卡cuda版本异常环境：torch1.11.0+cu113程序报错

芒果不茫QAQ·2024-03-13 15:39

beam search原理与常见实现，与直接sample的区别

BeamSearch与直接Sample的区别1.确定性与随机性2.结果多样性3.性能与效率4.应用场景常见的BeamSearch实现1.TensorFlow库2.PyTorch库3.HuggingFace的Transformers

samoyan·2024-03-11 13:11

聊聊transformers库；微软推出ZeRO++技术：优化大型AI模型训练时间和成本

AI新闻微软推出ZeRO++技术：优化大型AI模型训练时间和成本摘要：据报道，微软研究人员最近发布了一项名为ZeRO++的新技术，旨在优化训练大型AI模型时常遇到的数据传输成本和带宽限制问题，可大幅减少训练时间和成本。ZeRO++建立在现有的ZeRO传输技术基础上，并通过提供增强的通信策略来提高训练效率并降低成本。通过对权重进行量化，ZeRO++可以减少参数通信量，同时保持训练精度。为了最小化通信

go2coding·2024-02-20 17:05

Transformers中的Beam Search高效实现

来自：纸鱼AI目前Github上的大部分实现均针对于单个样本的beamsearch，而本文主要介绍了针对单个样本和批量样本的beamsearch实现。本文代码可以点击“查看原文”找到BeamSearch的原理设输入序列为，输出序列为，我们需要建模如下概率分布：（公式向右滑动）在执行解码时，我们有几种选词方案，第一种则是穷举所有可能序列，这种成本过大无法承受。如果每一步都选择概率最大的词，这种解码方

zenRRan·2024-02-15 08:13

flan_t5的使用

https://huggingface.co/docs/transformers/model_doc/flan-t5

hehui0921·2024-02-13 09:36

【HuggingFace】Transformers-BertAttention逐行代码解析

本文基于HuggingFace的2.6.0版本的Transformers包进行解析，不同版本间略有差异，但无伤大雅。

Taylor不想被展开·2024-02-12 17:32

phpy ：PHP 与 Python 互调用库，为 PHP 引入 Python 生态，PHP 也可以写 AI 了

包括当下非常流行的PyTorch、transformers、TensorFlow等AI库，以及Numpy、Pandas、Scikit等科学计算库，还可以使用PyQt、wxPython等图形界面库。

·2024-02-11 17:07

transformers之agent

HuggingFace发布了TransformersAgent，一种利用自然语言从精选工具集合中选择工具并完成各种任务的代理。此举使其与LangChain作为构建企业通用人工智能(AGI)应用程序的新兴框架直接竞争，因为它很像LangChain工具和代理。什么是TransformersAgents？简单来说它在转换器之上提供了一个自然语言API：定义了一组精选工具并设计了一个代理来解释自然语言并使

月疯·2024-02-10 13:07

transformers重要组件（模型与分词器）

1、模型：fromtransformersimportAutoModelcheckpoint="distilbert-base-uncased-finetuned-sst-2-english"model=AutoModel.from_pretrained(checkpoint)除了像之前使用AutoModel根据checkpoint自动加载模型以外，我们也可以直接使用模型对应的Model类，例如B

月疯·2024-02-10 13:06

Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

摘要多步（尺度）预测通常包含一个复杂的输入组合——包括静态（即时不变）协变量、已知的未来输入，以及其他仅在过去观察到的外生时间序列——没有任何关于它们如何与目标相互作用的先验信息。几种深度学习方法已经被提出，但它们通常是“黑盒”模型，并不能阐明它们如何使用实际场景中出现的全部输入。在本文中，我们介绍了时间融合变压器(TFT)——一种新的基于注意的架构，它结合了高性能的多步预测和对时间动态的可解释的

AyyB·2024-02-09 23:30

【Transformer-Hugging Face 05/10】使用 AutoClass 加载预训练实例

作为Transformers核心理念的一部分，使库易于、简单且灵活地使用，它会AutoClass从给定的检查点自动推断并加载正确的架构。该from_pretrained()

无水先生·2024-02-09 20:26

Elasticsearch：通过 ingest pipeline 对大型文档进行分块

这个交互式笔记本将：将模型sentence-transformers__all-minilm-

Elastic 中国社区官方博客·2024-02-08 11:11

Elasticsearch：使用 LangChain 文档拆分器进行文档分块

使用Elasticsearch嵌套密集向量支持这个交互式笔记本将：将模型“sentence-transformers__all-minilm-l6-v2”从HuggingFace加载到ElasticsearchMLNode

Elastic 中国社区官方博客·2024-02-08 11:38

GPT-3 训练自己的数据教程详解

安装依赖库：确保你安装了必要的Python库，包括transformers、torch等。

mqdlff_python·2024-02-08 06:30

MogaNet：高效的多阶门控聚合网络

AI浩·2024-02-08 04:27

51-18 视频理解串讲— MViTv2：Improved Multiscale Vision transformers for Classification and Detection 论文精读

今天要读的论文MViTv2仍然来自FacebookAI。论文和代码地址论文名称：MViTv2:ImprovedMultiscaleVisionTransformersforClassificationandDetection论文地址：https://arxiv.org/abs/2112.01526代码地址：https://github.com/facebookresearch/mvit首先咱们来看

深圳季连AIgraphX·2024-02-07 13:59

使用deepspeed继续训练LLAMA

目录1.数据训练配置2.模型载入3.优化器设置4.DeepSpeed设置5.DeepSpeed初始化6.模型训练LLAMA模型子结构：1.数据训练配置利用PyTorch和Transformers库创建数据加载器

samoyan·2024-02-05 13:58

“erfinv_vml_cpu“ not implemented for ‘Half‘

在复现qwen-vl的qlora的时候报错，"erfinv_vml_cpu"notimplementedfor'Half'，具体原因是这个文件里的.cache/huggingface/modules/transformers_modules

wkk15903468980·2024-02-04 12:55

End-to-End Object Detection with Transformers（DETR）

总结：这篇文档介绍了一个基于transformer和双分配匹配损失的新型目标检测系统（DETR）。传统的目标检测方法使用间接方法进行目标预测，而DETR将目标检测视为直接的集合预测问题，简化了检测流程，并减少了手动设计的组件。文档还提到了该方法在COCO数据集上的测试结果和与其他方法的比较。问题：1.目标检测的现代方法通常是基于什么样的初始猜测进行预测？目标检测的现代方法通常是基于对图像中可能存在

TJMtaotao·2024-02-04 07:35

User开源模型ChatGLM3-6B如何使用？

建议使用`transformers`库的`4.30.2`版本，以及`torch`库的`2.0`或更高版本以获得最佳的推理性能【17†source】。2.

qq_20984273·2024-02-04 06:48

【文本到上下文 #8】NLP中的变形金刚：解码游戏规则改变者

在本期中，我们将重点介绍一项重塑NLP格局的突破性创新：Transformers。

无水先生·2024-02-03 20:22

CogView：通过Transformers完成文本到图像的生成

1TitleCogView:MasteringText-to-ImageGenerationviaTransformers（MingDing,ZhuoyiYang,WenyiHong,WendiZheng,ChangZhouz,DaYin,JunyangLinz,XuZou,ZhouShao，HongxiaYang,JieTang）2ConclusionThisstudyproposesCogVi

umbrellazg·2024-02-03 19:47

大模型LORA微调总结

source和target构建input_ids和labels标签补齐构建训练器LORA模型推理模型加载多batch推理构建lora微调推理合并模型权重大模型微调总结模型加载使用deepspeedmodel=transformers.AutoModelForCausalLM

江小皮不皮·2024-02-03 15:48

【论文阅读笔记】Taming Transformers for High-Resolution Image Synthesis

TamingTransformersforHigh-ResolutionImageSynthesis记录前置知识AbstractIntroductionRelatedWorkMethodLearninganEffectiveCodebookofImageConstituentsforUseinTransformersLearningtheCompositionofImageswithTransfo

LuH1124·2024-02-03 09:45

【工程记录】ChatGLM3-6B 部署的详细教程（Windows）

1.环境配置Github地址：ChatGLM3作者注释：transformers库版本推荐为4.30.2，torch推荐使用2.0及以上的版本，以获得最佳的推理性能。为了防止依赖之间的版本冲突，

LZXCyrus·2024-02-02 20:30

Transformer 自然语言处理（三）

原文：NaturalLanguageProcessingwithTransformers译者：飞龙协议：CCBY-NC-SA4.0第八章：使transformers在生产中更高效在之前的章节中，您已经看到了

绝不原创的飞龙·2024-02-01 12:59

【Transformer 】 Hugging Face手册 (01/10)

Transformers提供API和工具，可轻松下载和训练最先进的预训练模型。使用预训练模型可以降低计算成本和碳足迹，并节省从头开始训练模型所需的时间和资源。这些模型

无水先生·2024-01-31 19:42

【问题解决】| 对于代码访问transformers库报错，无法正常下载模型及其参数的问题

对于访问Transformer库的问题考虑用科学上网，直接进行下载把模型提前下好后放到本地但是如果能用第一种方式会好很多，但是实际中可能会遇到如下问题报这个错，原因是未开启科学上网OSError:Wecouldn'tconnectto'https://huggingface.co'toloadthisfile,couldn'tfinditinthecachedfilesanditlookslike

Qodicat·2024-01-31 13:44

使用 Pegasus-t5 预训练模型遇到问题解决

问题&解决需要手动把tokenizer相关文件进行调整到当前文件夹下，并修改data_utils中fengshen的地址transformers版本降低为4.29.1否则会找不到vocabdemo代码fromtransformersimportPegasusF

be_humble·2024-01-31 07:28

huggingface 的trainer训练框架优势

Transformers库写了了一个trans

be_humble·2024-01-31 07:57

anaconda虚拟环境添加第三方的库tensorbordX,torchvision,tqdm,opencv-python,pillow,tensorflow,keras

系列文章目录一、conda新建配置python3.8的虚拟环境，安装torch-cuda1.8，torchtext0.9.0，huggingface的transformers库anaconda虚拟环境添加第三方的库系列文章目录前言一

LinlyZhai·2024-01-29 18:00

使用Bert报错：Bert输出为字符串

1、解决办法参考：通过CCproxy配置内网linux服务器_ccproxy-CSDN博客按照解决办法1，重新下载transformers，仍然报错2、解决办法在网上查找资料后发现，这和tranformers

wwqily·2024-01-29 16:13

transformers实现各种NLP任务的流程框架

整理了b站up主的教程，加强对于transformers的使用理解，以及针对各种Nlp任务的训练和评估、推理的流程框架个人代码：https://github.com/yuyu990116/transformers_tutorials

鱼鱼9901·2024-01-28 20:28

Vision Mamba:将Mamba应用于计算机视觉任务的新模型

来源：DeepHubIMBA本文约1300字，建议阅读5分钟Mamba是LLM的一种新架构，与Transformers等传统模型相比，它能够更有效地处理长序列。

数据派THU·2024-01-28 08:21

transformers 部署

由于已经有conda和pycharm，而且感觉python3.6比较老，因此打算安装python3.10，后来发现好像不支持tokenizers，又重新安装python3.9.1、condacreate-nenv_namepython=3.9安装过程出现如下:appearstobecorrupted.Thepath'venvlauncher.exe'处理方式，清理缓存即可condaclean--p

javastart·2024-01-28 05:20

手写GPT实现小说生成(二)

做一个小说续写器，即只需要给出一些文本，让模型帮你续写，主要内容包含：模型编写训练适配小说的中文分词器将小说按固定大小拆分生成数据集拆分训练/测试集训练体验小说续写效果同时结合HuggingFace的transformers

愤怒的可乐·2024-01-28 01:25

粒子群算法pos优化transformer 时间序列预测

在这里，我提供了一个简单的示例，使用HuggingFace的transformers库中的BertModel作为目标模型，并使用PSO对其进行参数优化。

mqdlff_python·2024-01-27 16:40

Transformers Tutorial教程3-7

outline介绍什么是Transformers，为什么要用它介绍一些比较常用的接口最后会给出一个demo，帮助你们快速地入门whatisTransformers？

ringthebell·2024-01-27 09:44

高通AI应用快速上手：基于Transformers的智能问答

文章介绍智能问答是自然语言处理(NLP)中很重要的一个领域，此应用的功能是在段落或文章中找到所需的答案。本文主要介绍一个基于高通SnapdragonNeuralProcessingEngineSDK和ICLR2020ElectraTransformer模型的智能问答Android应用程序，该应用的所有源代码都可以在https://github.com/quic/qidk/tree/master/S

csdnsqst0050·2024-01-27 03:10

VIT探索笔记（AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE）

VIT探索笔记CodePaper[vit-pytorch](https://github.com/lucidrains/vit-pytorch/tree/main)参看学习bilibili视频11.1VisionTransformer(vit)网络详解ViT论文逐段精读【论文精读】切入点如何把一张图变成一句话？对输入图做切割，分块，每一块就是一个token（单词）；假设一张224x224x3的图，

FMsunyh·2024-01-26 19:34

torch.matmul和torch.bmm区别

torch.matmul可用于4维数组的相乘，而torch.bmm只能用户3维数组的相乘，以/home/tiger/.local/lib/python3.9/site-packages/transformers

taoqick·2024-01-26 11:44

Transformers库中owlvit2模型的注意事项

Huggingface中的transformers库中的owlvit2模型具体由三种应用检测targetimage可能存在的目标(与owlvit的主要区别)利用querytext在targetimage

lanlinbuaa·2024-01-26 07:02

PyTorch-Transformers初识

1640539349483912777&wfr=spider&for=pcTransformers理解:https://www.analyticsvidhya.com/blog/2019/06/understanding-transformers-nlp-state-of-the-art-models

谷德白麻酱·2024-01-26 07:51

推荐频道

transformers