TRANSFORMERS

【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人

系列篇章No.文章1【Qwen部署实战】探索Qwen-7B-Chat：阿里云大型语言模型的对话实践2【Qwen2部署实战】Qwen2初体验：用Transformers打造智能聊天机器人3【Qwen2部署实战

寻道AI小兵·2024-09-12 06:09

conda进行transformers安装

首先建立新环境condacreate-nmyenvpython=3.8安装numpy和pytorchcondainstallnumpycondainstallpytorchtorchvisiontorchaudiocpuonly-cpytorch-cconda-forge其余的一些环境配置huggingface_hub0.16.4py_0huggingfaceimportlib-metadata6

大多_C·2024-09-09 15:04

【计算机视觉前沿研究热点顶会】ECCV 2024中Mamba有关的论文

MambaIR：状态空间模型图像恢复的简单基线近年来，图像恢复技术取得了长足的进步，这在很大程度上归功于现代深度神经网络的发展，如CNN和Transformers。

平安顺遂事事如意·2024-09-07 08:17

【人工智能】Transformers之Pipeline（十三）：填充蒙版（fill-mask）

目录一、引言二、填充蒙版（fill-mask）2.1概述2.2技术原理2.2.1BERT模型的基本概念2.2.2BERT模型的工作原理2.2.3BERT模型的结构2.2.4BERT模型的应用2.2.5BERT模型与Transformer的区别和联系2.3应用场景2.4pipeline参数2.4.1pipeline对象实例化参数2.4.2pipeline对象使用参数2.4.3pipeline返回参数

LDG_AGI·2024-09-06 02:02

Azure和Transformers的详细解释

AzureAI是微软提供的人工智能(AI)解决方案的集合，旨在帮助开发人员、数据科学家和企业轻松构建和部署智能应用程序。以下是对AzureAI各个方面的详细解释：AzureAI主要组件AzureCognitiveServices（认知服务）：计算视觉：包括图像识别、物体检测、人脸识别以及图像标注等。语音服务：包括语音识别、语音合成、说话人识别和语音翻译等。语言理解服务：包括文本分析、语言翻译、情感

漫天飞舞的雪花·2024-09-04 09:04

【深度学习 transformer】使用pytorch 训练transformer 模型,hugginface 来啦

它由几个关键组件组成：Transformers：这是一个基于PyTorch的库，提供了各种预训练的NLP模型，如BERT、GPT、RoBERTa、DistilBERT等。

东华果汁哥·2024-09-04 06:39

【HuggingFace Transformers】BertIntermediate 和 BertPooler源码解析

BertIntermediate和BertPooler源码解析1.介绍1.1位置与功能1.2相似点与不同点2.源码解析2.1BertIntermediate源码解析2.2BertPooler源码解析1.介绍1.1位置与功能(1)BertIntermediate位置：位于BertLayer的注意力层（BertSelfAttention）和输出层（BertOutput）之间。功能：它执行一个线性变换（

CS_木成河·2024-09-01 17:25

在浏览器上使用transformers.js运行（WebGPU）RMBG-1.4进行抠图（背景移除）

在浏览器上使用transformers.js运行（WebGPU）RMBG-1.4进行抠图（背景移除）说明：首次发表日期：2024-08-28官方Github仓库地址：https://github.com

shizidushu·2024-09-01 17:55

LLM-项目详解（一）：Chinese-LLaMA-Alpaca【transformers/models/llama/modeling_llama.py文件】

u013250861·2024-08-31 22:57

快速使用transformers的pipeline实现各种深度学习任务

目录引言安装情感分析文本生成文本摘要图片分类实例分割目标检测音频分类自动语音识别视觉问答文档问题回答图文描述引言在这篇中文博客中，我们将深入探讨使用transformers库中的pipeline()函数

E寻数据·2024-08-31 04:54

1-pipeline()函数-transformers-python库

pipeline()函数pipeline()函数是Transformers库中最基本的工具。Transformer模型用于解决各种NLP任务，Transformers库提供了创建和使用这些模型的功能。

Flora-pi·2024-08-31 04:53

大模型训练优化方法

本文主要参考HF上的一篇文章：https://huggingface.co/docs/transformers/perf_train_gpu_one，以及笔者在实际训练中的一些经验，给出一些比较实用的方法

少喝冰美式·2024-08-30 05:28

论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

Retrieval-AugmentedGenerationforKnowledge-IntensiveNLPTaskscode:https://github.com/huggingface/transformerscode:https://github.com/huggingface/transformers

Ian_Wonder·2024-08-28 18:27

欺诈文本分类微调（六）：Lora单卡训练

关于训练器，使用transformers库中提供的Trainer类。2.数据准备2.1加载数据导入要使用的基础包。impor

沉下心来学鲁班·2024-08-25 11:27

使用 Hugging Face Transformers 创建文本生成模型

文本生成是自然语言处理中的一个重要任务，在聊天机器人、自动写作等领域有着广泛的应用。HuggingFaceTransformers是一个流行的Python库，它提供了大量预训练的模型以及API来实现各种自然语言处理任务。本文将详细介绍如何使用HuggingFaceTransformers库来创建一个简单的文本生成模型，并且展示如何使用该模型生成新的文本。文本生成是自然语言处理中的一项重要技术，可以

Envyᥫᩣ·2024-08-25 05:47

transformers调用llama的方式

transformers调用llama的使用方式不同版本llama对应的transformers库版本llama2llama3Meta-Llama-3-8B-InstructMeta-Llama-3-8Bllama3.1Meta-Llama

myccver·2024-08-23 13:11

chatGLM-6B部署报错quantization_kernels_parallel.so‘ (or one of its dependencies). Try using the full pat

chatglm2时候报错：FileNotFoundError:Couldnotfindmodule'C:\Users\Administrator\.cache\huggingface\modules\transformers_modules

FL1623863129·2024-03-20 14:25

【学习总结】Python transformers AutoTokenizer encode 出现的 101 和 102

1.代码展示：fromtransformersimportAutoTokenizer,AutoModelmodel_name="bert-base-chinese"tokenizer=AutoTokenizer.from_pretrained(model_name)model=AutoModel.from_pretrained(model_name)print(len(tokenizer.voca

爱学习的小道长·2024-03-14 14:10

深度学习踩坑记录（持续更新）

目录4060显卡cuda版本异常transformers初始化TrainingArguments时output_dir指定问题4060显卡cuda版本异常环境：torch1.11.0+cu113程序报错

芒果不茫QAQ·2024-03-13 15:39

beam search原理与常见实现，与直接sample的区别

BeamSearch与直接Sample的区别1.确定性与随机性2.结果多样性3.性能与效率4.应用场景常见的BeamSearch实现1.TensorFlow库2.PyTorch库3.HuggingFace的Transformers

samoyan·2024-03-11 13:11

聊聊transformers库；微软推出ZeRO++技术：优化大型AI模型训练时间和成本

AI新闻微软推出ZeRO++技术：优化大型AI模型训练时间和成本摘要：据报道，微软研究人员最近发布了一项名为ZeRO++的新技术，旨在优化训练大型AI模型时常遇到的数据传输成本和带宽限制问题，可大幅减少训练时间和成本。ZeRO++建立在现有的ZeRO传输技术基础上，并通过提供增强的通信策略来提高训练效率并降低成本。通过对权重进行量化，ZeRO++可以减少参数通信量，同时保持训练精度。为了最小化通信

go2coding·2024-02-20 17:05

Transformers中的Beam Search高效实现

来自：纸鱼AI目前Github上的大部分实现均针对于单个样本的beamsearch，而本文主要介绍了针对单个样本和批量样本的beamsearch实现。本文代码可以点击“查看原文”找到BeamSearch的原理设输入序列为，输出序列为，我们需要建模如下概率分布：（公式向右滑动）在执行解码时，我们有几种选词方案，第一种则是穷举所有可能序列，这种成本过大无法承受。如果每一步都选择概率最大的词，这种解码方

zenRRan·2024-02-15 08:13

flan_t5的使用

https://huggingface.co/docs/transformers/model_doc/flan-t5

hehui0921·2024-02-13 09:36

【HuggingFace】Transformers-BertAttention逐行代码解析

本文基于HuggingFace的2.6.0版本的Transformers包进行解析，不同版本间略有差异，但无伤大雅。

Taylor不想被展开·2024-02-12 17:32

phpy ：PHP 与 Python 互调用库，为 PHP 引入 Python 生态，PHP 也可以写 AI 了

包括当下非常流行的PyTorch、transformers、TensorFlow等AI库，以及Numpy、Pandas、Scikit等科学计算库，还可以使用PyQt、wxPython等图形界面库。

·2024-02-11 17:07

transformers之agent

HuggingFace发布了TransformersAgent，一种利用自然语言从精选工具集合中选择工具并完成各种任务的代理。此举使其与LangChain作为构建企业通用人工智能(AGI)应用程序的新兴框架直接竞争，因为它很像LangChain工具和代理。什么是TransformersAgents？简单来说它在转换器之上提供了一个自然语言API：定义了一组精选工具并设计了一个代理来解释自然语言并使

月疯·2024-02-10 13:07

transformers重要组件（模型与分词器）

1、模型：fromtransformersimportAutoModelcheckpoint="distilbert-base-uncased-finetuned-sst-2-english"model=AutoModel.from_pretrained(checkpoint)除了像之前使用AutoModel根据checkpoint自动加载模型以外，我们也可以直接使用模型对应的Model类，例如B

月疯·2024-02-10 13:06

Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

摘要多步（尺度）预测通常包含一个复杂的输入组合——包括静态（即时不变）协变量、已知的未来输入，以及其他仅在过去观察到的外生时间序列——没有任何关于它们如何与目标相互作用的先验信息。几种深度学习方法已经被提出，但它们通常是“黑盒”模型，并不能阐明它们如何使用实际场景中出现的全部输入。在本文中，我们介绍了时间融合变压器(TFT)——一种新的基于注意的架构，它结合了高性能的多步预测和对时间动态的可解释的

AyyB·2024-02-09 23:30

【Transformer-Hugging Face 05/10】使用 AutoClass 加载预训练实例

作为Transformers核心理念的一部分，使库易于、简单且灵活地使用，它会AutoClass从给定的检查点自动推断并加载正确的架构。该from_pretrained()

无水先生·2024-02-09 20:26

Elasticsearch：通过 ingest pipeline 对大型文档进行分块

这个交互式笔记本将：将模型sentence-transformers__all-minilm-

Elastic 中国社区官方博客·2024-02-08 11:11

Elasticsearch：使用 LangChain 文档拆分器进行文档分块

使用Elasticsearch嵌套密集向量支持这个交互式笔记本将：将模型“sentence-transformers__all-minilm-l6-v2”从HuggingFace加载到ElasticsearchMLNode

Elastic 中国社区官方博客·2024-02-08 11:38

GPT-3 训练自己的数据教程详解

安装依赖库：确保你安装了必要的Python库，包括transformers、torch等。

mqdlff_python·2024-02-08 06:30

MogaNet：高效的多阶门控聚合网络

AI浩·2024-02-08 04:27

51-18 视频理解串讲— MViTv2：Improved Multiscale Vision transformers for Classification and Detection 论文精读

今天要读的论文MViTv2仍然来自FacebookAI。论文和代码地址论文名称：MViTv2:ImprovedMultiscaleVisionTransformersforClassificationandDetection论文地址：https://arxiv.org/abs/2112.01526代码地址：https://github.com/facebookresearch/mvit首先咱们来看

深圳季连AIgraphX·2024-02-07 13:59

使用deepspeed继续训练LLAMA

目录1.数据训练配置2.模型载入3.优化器设置4.DeepSpeed设置5.DeepSpeed初始化6.模型训练LLAMA模型子结构：1.数据训练配置利用PyTorch和Transformers库创建数据加载器

samoyan·2024-02-05 13:58

“erfinv_vml_cpu“ not implemented for ‘Half‘

在复现qwen-vl的qlora的时候报错，"erfinv_vml_cpu"notimplementedfor'Half'，具体原因是这个文件里的.cache/huggingface/modules/transformers_modules

wkk15903468980·2024-02-04 12:55

End-to-End Object Detection with Transformers（DETR）

总结：这篇文档介绍了一个基于transformer和双分配匹配损失的新型目标检测系统（DETR）。传统的目标检测方法使用间接方法进行目标预测，而DETR将目标检测视为直接的集合预测问题，简化了检测流程，并减少了手动设计的组件。文档还提到了该方法在COCO数据集上的测试结果和与其他方法的比较。问题：1.目标检测的现代方法通常是基于什么样的初始猜测进行预测？目标检测的现代方法通常是基于对图像中可能存在

TJMtaotao·2024-02-04 07:35

User开源模型ChatGLM3-6B如何使用？

建议使用`transformers`库的`4.30.2`版本，以及`torch`库的`2.0`或更高版本以获得最佳的推理性能【17†source】。2.

qq_20984273·2024-02-04 06:48

【文本到上下文 #8】NLP中的变形金刚：解码游戏规则改变者

在本期中，我们将重点介绍一项重塑NLP格局的突破性创新：Transformers。

无水先生·2024-02-03 20:22

CogView：通过Transformers完成文本到图像的生成

1TitleCogView:MasteringText-to-ImageGenerationviaTransformers（MingDing,ZhuoyiYang,WenyiHong,WendiZheng,ChangZhouz,DaYin,JunyangLinz,XuZou,ZhouShao，HongxiaYang,JieTang）2ConclusionThisstudyproposesCogVi

umbrellazg·2024-02-03 19:47

大模型LORA微调总结

source和target构建input_ids和labels标签补齐构建训练器LORA模型推理模型加载多batch推理构建lora微调推理合并模型权重大模型微调总结模型加载使用deepspeedmodel=transformers.AutoModelForCausalLM

江小皮不皮·2024-02-03 15:48

【论文阅读笔记】Taming Transformers for High-Resolution Image Synthesis

TamingTransformersforHigh-ResolutionImageSynthesis记录前置知识AbstractIntroductionRelatedWorkMethodLearninganEffectiveCodebookofImageConstituentsforUseinTransformersLearningtheCompositionofImageswithTransfo

LuH1124·2024-02-03 09:45

【工程记录】ChatGLM3-6B 部署的详细教程（Windows）

1.环境配置Github地址：ChatGLM3作者注释：transformers库版本推荐为4.30.2，torch推荐使用2.0及以上的版本，以获得最佳的推理性能。为了防止依赖之间的版本冲突，

LZXCyrus·2024-02-02 20:30

Transformer 自然语言处理（三）

原文：NaturalLanguageProcessingwithTransformers译者：飞龙协议：CCBY-NC-SA4.0第八章：使transformers在生产中更高效在之前的章节中，您已经看到了

绝不原创的飞龙·2024-02-01 12:59

【Transformer 】 Hugging Face手册 (01/10)

Transformers提供API和工具，可轻松下载和训练最先进的预训练模型。使用预训练模型可以降低计算成本和碳足迹，并节省从头开始训练模型所需的时间和资源。这些模型

无水先生·2024-01-31 19:42

【问题解决】| 对于代码访问transformers库报错，无法正常下载模型及其参数的问题

对于访问Transformer库的问题考虑用科学上网，直接进行下载把模型提前下好后放到本地但是如果能用第一种方式会好很多，但是实际中可能会遇到如下问题报这个错，原因是未开启科学上网OSError:Wecouldn'tconnectto'https://huggingface.co'toloadthisfile,couldn'tfinditinthecachedfilesanditlookslike

Qodicat·2024-01-31 13:44

使用 Pegasus-t5 预训练模型遇到问题解决

问题&解决需要手动把tokenizer相关文件进行调整到当前文件夹下，并修改data_utils中fengshen的地址transformers版本降低为4.29.1否则会找不到vocabdemo代码fromtransformersimportPegasusF

be_humble·2024-01-31 07:28

huggingface 的trainer训练框架优势

Transformers库写了了一个trans

be_humble·2024-01-31 07:57

anaconda虚拟环境添加第三方的库tensorbordX,torchvision,tqdm,opencv-python,pillow,tensorflow,keras

系列文章目录一、conda新建配置python3.8的虚拟环境，安装torch-cuda1.8，torchtext0.9.0，huggingface的transformers库anaconda虚拟环境添加第三方的库系列文章目录前言一

LinlyZhai·2024-01-29 18:00

使用Bert报错：Bert输出为字符串

1、解决办法参考：通过CCproxy配置内网linux服务器_ccproxy-CSDN博客按照解决办法1，重新下载transformers，仍然报错2、解决办法在网上查找资料后发现，这和tranformers

wwqily·2024-01-29 16:13

推荐频道