Transformers》

SpringJPA的entityManager执行原生SQL

不然查询结果都是大写映射不上实体字段Stringsql="select\"id\",\"name\"fromtableNamewhereid=:id"//构造查询和返回结果到指定VO，返回到map就用Transformers.ALIAS_TO_ENTITY_MAPNativeQueryImplementornativeQuery
爱窦·2024-01-14 17:33

[论文精读]Large-scale Graph Representation Learning of Dynamic Brain Connectome with Transformers

论文网址：[2312.14939]Large-scaleGraphRepresentationLearningofDynamicBrainConnectomewithTransformers(arxiv.org)英文是纯手打的！论文原文的summarizingandparaphrasing。可能会出现难以避免的拼写错误和语法错误，若有发现欢迎评论指正！文章偏向于笔记，谨慎食用！又见面了ProfKi
夏莉莉iy·2024-01-14 13:32

在 Nvidia Docker 容器编译构建显存优化加速组件 xFormers

写在前面xFormers是FaceBookResearch（Meta）开源的使用率非常高的Transformers加速选型，当我们使用大模型的时候，如果启用xFormers组件，能够获得非常明显的性能提升
soulteary·2024-01-14 10:20

如何生成文本: 通过 Transformers 用不同的解码方法生成文本

如何生成文本:通过Transformers用不同的解码方法生成文本假设$p=0.92$，Top-p采样对单词概率进行降序排列并累加，然后选择概率和首次超过$p=92%$的单词集作为采样池，定义为$V_{
vitaminYZZ·2024-01-13 21:07

Python解决方案：transformers模块没有LLaMATokenizer属性

Python解决方案：transformers模块没有LLaMATokenizer属性在使用transformers模块时，有可能会出现“AttributeError:moduletransformershasnoattributeLLaMATokenizer
UIEdit·2024-01-13 19:05

大模型学习与实践笔记（五）

一、环境配置1.huggingface镜像下载sentence-transformers开源词向量模型importos#设置环境变量os.environ['HF_ENDPOINT']='https://
AllYoung_362·2024-01-12 20:14

Huggingface的Trainer类无法将日志写到logging文件中

在训练时想把这个信息也写到logging文件中在training_args中设置参数：training_args=transformers.TrainingArguments(logging_steps
cpopttt·2024-01-12 14:44

text-generation-webui加载codellama报错DLL load failed while importing flash_attn_2_cuda: 找不到指定的模块。

codellama，报错：Traceback(mostrecentcalllast):File"C:\Users\Ma\AppData\Roaming\Python\Python310\site-packages\transformers
cpopttt·2024-01-12 14:11

在Hugging Face上下载并使用Bert-base-Chinese

HuggingFaceHuggingface起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来
little pierce·2024-01-11 14:59

简单几个步骤几行代码一步一步掌握NLP自然语言处理通过Transformers模型实现包括情感分析,垃圾邮件检测,语法纠错,文本推理等

简单几个步骤几行代码一步一步掌握NLP自然语言处理通过Transformers模型实现包括情感分析,垃圾邮件检测,语法纠错,文本推理等。
代码讲故事·2024-01-11 11:55

计算机视觉下的数据增强代码实现

数据增强的实现使用经典的pytorch框架下的torchvision.transformers对计算机视觉进行增强的代码实现。使用下面的图像进行数据增强，相应的效果图如下所示！
Algorithm_Engineer_·2024-01-10 13:18

conda新建、配置python3.8虚拟环境，torch-cuda1.8，torchtext0.9.0，huggingface安装transformers库

起因是我在用bert的时候，导包报错Python环境缺少importlib.metadata模块。importlib.metadata是Python3.8引入的模块，而我的环境中使用的Python版本为3.7。所以我得重新配置一个python3.8的环境准备工作在开始菜单找到anacondaprompt(anaconda3)，进入查看已有的虚拟环境命令：condaenvlist1.conda创建虚
LinlyZhai·2024-01-10 12:06

Chinese-llama-2部署踩坑记录

Chinese-llama-2部署踩坑记录1.Chinese-LLaMA-Alpaca-2A.部署a.inference_with_transformers_zhb.textgenerationwebui_zhc.api_calls_zhd.llamacpp_zhe.privategpt_zhf.langchain_zhToolGithub1
国家一级假勤奋大学生·2024-01-10 07:50

【组队学习】Task03：学习BERT和GPT

组队学习资料：datawhale8月组队学习-基于transformers的自然语言处理(NLP)入门Task03主要学习内容：2.3-图解BERT.md2.4-图解GPT.md声明:NLP纯小白,本文内容主要是作为个人学习笔记
诡途·2024-01-10 06:06

Transformers 2023年度回顾 ：从BERT到GPT4

一个关键的突破是引入了“自注意力”和用于序列处理的Transformers架构，这使得之前主导该领域的几个关键问题得以解决。在本文中，我们将研究革命性的Tr
柴神·2024-01-10 06:32

Hugging face库

1.Transformers是NLP,CV,audio，speechprocessing任务的库。它包含了超过10000个预训练的模型，涵盖了各种NLP任务，如文本分类，问答，文本生成，情感分析等。
carmen_山海·2024-01-09 21:12

conda安装transformers、wordcloud库

conda安装transformers库使用conda自Transformers4.0.0版始，我们有了一个conda频道：huggingface。
LinlyZhai·2024-01-08 05:44

backbone

还是借用huggingface书里面的一句话：在BERT,GPT,Transformers模型被提出之前，被广泛使用的自然语言处理网络结构式RNN。
不当菜鸡的程序媛·2024-01-07 12:03

0-自然语言处理基础知识

目录1transformers1.1什么是transformers1.2优缺点和使用场景是什么？
赵孝正·2024-01-07 06:13

常见的Transformers（二）

fromPILimportImagefromtorch.utils.tensorboardimportSummaryWriterfromtorchvisionimporttransformswriter=SummaryWriter('logs')img=Image.open(r'D:\Pytorch\hymenoptera_data\train\ants_image\6240329_72c01e6
Cupid_BB·2024-01-06 06:01

自然语言处理HuggingFace | pipeline

该公司的代表产品是其为自然语言处理应用构建的transformers库，以及允许用户共享机器学习模型和数据集的平台。
Yvhong1·2024-01-05 15:28

基于transformers，用GPU训练的显存优化方法

声明：以下基本都是基于时间换空间的方法，微调方法用的是firefly（流萤）框架1.减小"per_device_train_batch_size",设置"gradient_accumulation_steps"。这样在计算梯度的时候是每per_device_train_batch_size*gradient_accumulation_steps个样本计算一下2.设置gradient_checkpo
鱼鱼9901·2024-01-05 12:16

BERT（从理论到实践）: Bidirectional Encoder Representations from Transformers【3】

这是本系列文章中的第3弹，请确保你已经读过并了解之前文章所讲的内容，因为对于已经解释过的概念或API，本文不会再赘述。本文要利用BERT实现一个“垃圾邮件分类”的任务，这也是NLP中一个很常见的任务：TextClassification。我们的实验环境仍然是Python3+Tensorflow/Keras。一、数据准备首先，载入必要的packages/libraries。importtensorf
白马负金羁·2024-01-05 08:21

文本搜索快速实现

pipinstall-Usentence-transformers定义了两个主要框架后，您需要指定该引擎将使用的确切模型。
cxscode·2024-01-04 22:36

BERT(Bidirectional Encoder Representations from Transformers)理解

BERT的新语言表示模型，它代表Transformer的双向编码器表示。与最近的其他语言表示模型不同，BERT旨在通过联合调节所有层中的上下文来预先训练深度双向表示。因此，预训练的BERT表示可以通过一个额外的输出层进行微调（fine-tuning），适用于广泛任务的最先进模型的构建，比如问答任务和语言推理，无需针对具体任务做大幅架构修改。一、BERT是如何进行预训练pre-training的？B
weixin_30425949·2024-01-04 13:59

BERT（从理论到实践）: Bidirectional Encoder Representations from Transformers【2】

这是本系列文章中的第二弹，假设你已经读过了前文。先来简单回顾一下BERT的想法：1）在Word2Vec【1】中，每个单词生成的Embedding是固定的。但这就带来了一个显而易见的问题：同一个单词在不同上下文中的意思是不同的。例如mouse，可以是鼠标的意思，也可以是老鼠的意思。但使用Word2Vec，就无法区分这两个不同的意思。BERT的基本想法就是单词的向量表达是根据上下文动态生成的（BERT
白马负金羁·2024-01-04 13:57

IJCAI2023 | 高效训练Transformers的方法

来源：Google数据科学文章目录前言一、ComputationEffciency1.Optimization（优化器）2.Initialization（参数初始化）3.Sparsetraining（稀疏训练）4.Overparameterization（过参数化）5.Largebatchtraining（大批量训练）6.Incrementallearning（增量学习）二、DataSelecti
JOYCE_Leo16·2024-01-04 10:21

词嵌入位置编码的实现（基于pytorch）

背景介绍在transformers架构当中，对于词向量的输入需要加上原本词对应的位置信息，作为输入到模型中训练的input，那具体的位置编码如何实现呢？
草莓橙子碗·2024-01-04 10:18

BERT -Bidirectional Encoder Representation from Transformers[2018GoogleLab]

整体介绍Bert主要工作分为pre-traing(预训练)与fine-tuning（微调），核心工作是预训练，微调是根据down-streamtask（下游任务）进行修改即可预训练的输入：unlabelledsentencepair训练BERT的权重下游任务：创建同样的BERT的模型，权重的初始化值来自于预训练好的权重MNLI,NER,SQuAD下游任务有自己的labeleddata,对BERT继
思考实践·2024-01-03 15:26

论文笔记BERT: Bidirectional Encoder Representations from Transformers

1简介本文根据2019年《BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding》翻译总结的。BERT:BidirectionalEncoderRepresentationsfromTransformers.应用预训练模型于下游任务有两种策略，分别是feature-based和fine-tuning。fine
AI强仔·2024-01-03 15:26

BERT: Bidirectional Encoder Representations from Transformers双向Transformer用于语言模型 NAACL 2018

论文链接：https://arxiv.org/abs/1810.04805tensorflow版本代码链接：https://github.com/google-research/bertpytorch版本代码链接：https://github.com/codertimo/BERT-pytorch导读这篇论文由谷歌团队发表于2018年的NAACL上《BERT:Pre-trainingofDeepBi
BUAA～冬之恋·2024-01-03 15:55

Bert（Bidirectional Encoder Representations from Transformers）

一、简介Bert即基于Transformer的双向编码器表示，2018年由google提出。基于多个Transformer的编码器堆叠而成，输入输出不改变形状。Bert的双向不是常规的RNN式的正向反向后连接，指的能根据上下文表示，推测[mask]处的内容。区别可参考这篇博客：解释BERT为什么是双向表示_B站：阿里武的博客-CSDN博客_bert的双向二、2种无监督预训练任务1、MLM（Mask
北落师门XY·2024-01-03 15:55

BERT:Bidirectional Encoder Representation from Transformers

知乎：https://zhuanlan.zhihu.com/p/98855346https://zhuanlan.zhihu.com/p/46652512BERT的全称为BidirectionalEncoderRepresentationfromTransformers，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是
今天刷leetcode了吗·2024-01-03 15:54

BERT（从理论到实践）: Bidirectional Encoder Representations from Transformers【1】

预训练模型：Apre-trainedmodelisasavednetworkthatwaspreviouslytrainedonalargedataset,typicallyonalarge-scaleimage-classificationtask.Youeitherusethepretrainedmodelasisorusetransferlearningtocustomizethismode
白马负金羁·2024-01-03 15:53

一文搞懂Transformers—01（Transformers机制）

Transformer是一种神经网络架构，最初应用在机器翻译领域，但事实证明现在已经可以运用在图像、文本、语音和一些图结构数据，都显示出了这个模型的强大能力。我们通过介绍其机制（01）和变体（02），对Transformer有个大致的了解。（本文参考资料来自邱锡鹏老师和吴恩达老师）Transformer结构编码器encoder当输入feed之后，将每一个词映射到一个向量上面（高维到低维称之为嵌入e
今天不要熬夜·2024-01-01 00:29

用通俗易懂的方式讲解大模型：HugggingFace 推理 API、推理端点和推理空间使用详解

接触AI的同学肯定对HuggingFace[1]有所耳闻，它凭借一个开源的Transformers库迅速在机器学习社区大火，为研究者和开发者提供了大量的预训练模型，成为机器学习界的GitHub。
Python算法实战·2023-12-31 15:01

BERT: Pre-training of Deep Bidirectional Transformers for Language Understading

AbstractBERT:BidrectionalEncoderRepresentationsfromTransformers.BERT与之前的语言表示模型不同，它通过在所有层同时依赖左边和右边的上下文来预训练一个深度双向语言表示。通过这种方式预训练的表示只需要一个额外的输出层来fine-tune一下就可以在众多任务上实现SOTA。BERT一共在7个自然语言处理任务上获得SOTA结果，并且将GLU
chansonzhang·2023-12-31 07:28

【OpenCV】OpenCV 4.9.0 正式发布

此次发布有DNN模块对ONNXAttention、Einsum等层的支持、新的fastGEMM实现、transformers的实验性支持等诸多亮点。
youcans_·2023-12-30 17:14

基于 Python 和 HuggingFace Transformers 进行目标检测

然而，近来出现了一位竞争对手——即在计算机视觉中使用基于Transformer的模型，更具体地说是在目标检测中使用Transformers。在今天的文章中，你将学到有关这种类型的Trans
小北的北·2023-12-30 07:05

自然语言处理1——探索自然语言处理的基础 - Python入门篇

1.3.1医疗保健1.3.2金融领域1.3.3教育领域1.3.4社交媒体分析2.Python中常用的自然语言处理库简介2.1NLTK(NaturalLanguageToolkit)2.2Spacy2.3Transformers2.4TextBlob2.5Gensim2.6Textacy2.7
theskylife·2023-12-30 01:55

预训练模型下载和使用

后续又实现了其他的预训练模型，如GPT、GPT2、ToBERTa、T5等，便把开源库的名字改成transformers，transformers包括各种模型的pytorch实现Google发布的原
哦豁灬·2023-12-29 22:03

pytorch--基于参数权重初始化模型

存在问题：1.原始的CPM-large的部分层权重与transformers中的计算方式不一样。例如线性计算有的用linear，有的用Cov1D。
Catherine_In_Data·2023-12-29 14:43

Ubuntu 安装transformers 报错error can‘t find rust compiler

问题描述Ubuntu20.04使用pip安装transformers库遇到报错：error:can'tfindRustcompiler.下面是报错信息的后半部分。
Haulyn5·2023-12-28 11:29

Huggingface 超详细介绍

软件研发及数据处理经验，关注机器学习，机器人技术，自动驾驶，医疗信息学等方面Huggingface起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers
baidu_huihui·2023-12-28 01:45

模型微调入门介绍一

模型微调大致会有下面5大步骤，其中数据下载主要用transformers库中的datasets来完成，数据预处理部分会用到tokenizer对象。本篇博客会重点介绍数据加载和数据预处理
taoli-qiao·2023-12-27 14:39

虚拟环境和Pycharm中均有transforms仍报ModuleNotFoundError：No module named ‘transformers‘

问题：运行新模型，配置了新环境，下载了包后，仍然报ModuleNotFoundError：Nomodulenamed'transformers'错误。查看Pycharm解释器：没问题！！！？
桦拾·2023-12-27 14:28

【论文翻译】Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting纯翻译

【论文翻译】TemporalFusionTransformersforInterpretableMulti-horizonTimeSeriesForecasting文章目录【论文翻译】TemporalFusionTransformersforInterpretableMulti-horizonTimeSeriesForecastingAbstract1.Introduction2.Relatedw
程序媛小哨·2023-12-27 09:55

【时间序列预测】Are Transformers Effective for Time Series Forecasting?

香港中文大学曾爱玲文章，在长时间序列预测问题上使用线性模型打败基于Transformer的模型，并对已有模型的能力进行实验分析（灵魂7问，强烈推荐好好读一下！）。核心贡献质疑基于Transformer的序列预测模型在长时间序列预测任务（LTSF，long-termtimeseriesforecasting）的有效性大部分模型无法从长序列中抽取时序信息（实验中预测误差并没有随着历史窗口增大而减少）大
hellozhxy·2023-12-27 09:25

ETSformer: Exponential Smoothing Transformers for Time-series Forecasting

ThispaperwaspublishedatICMLin2022.近年来，有很多研究工作将Transformer应用在时间序列预测领域，取得了不错的效果，然而很多工作在模型设计上没有充分利用时间序列数据的特性，通过堆数据和算力获得优良的效果，因此存在一些局限（不可分解、低效等）。最近来自新加坡Saleforce研究院和新加坡管理大学的几位研究者提出了一种新的时间序列Transformer结构，叫
流浪的诗人，·2023-12-27 09:24

seamless-m4t-v2-large transformers 使用gpu推理

GPUversion:step1,model=model.to('cuda:0')ormodel=model.to('cuda')step2:audio_inputs=processor(audios=audio,return_tensors="pt").to('cuda:0')oraudio_inputs=processor(audios=audio,return_tensors="pt").t
pkuyjxu·2023-12-25 04:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他