Transformers》

超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据

1.简介目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案；数据：从开源社区，整理了海量的训练数据
·2023-08-25 11:36

全套解决方案：中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！

全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！
·2023-08-25 11:34

超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据

1.简介目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案；数据：从开源社区，整理了海量的训练数据
·2023-08-25 11:34

Scalable Diffusion Models with Transformers

ScalableDiffusionModelswithTransformers论文地址：https://arxiv.org/pdf/2212.09748.pdf项目地址：https://github.com/facebookresearch/DiT论文主页：https://www.wpeebles.com/DiT摘要我们探索了一类新的基于Transformer结构的扩散模型。我们训练图像的潜在扩散
通街市密人有·2023-08-24 21:44

DETR-《End-to-End Object Detection with Transformers》论文精读笔记

DETR（基于Transformer架构的目标检测方法开山之作）End-to-EndObjectDetectionwithTransformers参考：跟着李沐学AI-DETR论文精读【论文精读】摘要在摘要部分作者，主要说明了如下几点：DETR是一个端到端（end-to-end）框架，释放了传统基于CNN框架的一阶段（YOLO等）、二阶段（FasterRCNN等）目标检测器中需要大量的人工参与的步
wyypersist·2023-08-24 09:37

在Transformers 中使用约束波束搜索引导文本生成

引言本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识，具体可参见博文如何生成文本:通过Transformers用不同的解码方法生成文本。
·2023-08-23 23:05

使用 Transformers 为多语种语音识别任务微调 Whisper 模型

本文提供了一个使用HuggingFaceTransformers在任意多语种语音识别(ASR)数据集上微调Whisper的分步指南。同时，我们还深入解释了Whisper模型、CommonVoice数据集以及微调等理论知识，并提供了数据准备和微调的相关代码。如果你想要一个全部是代码，仅有少量解释的Notebook，可以参阅这个GoogleColab。目录简介在GoogleColab中微调Whispe
·2023-08-23 23:05

Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！

每一周，我们的同事都会向社区的成员们发布一些关于HuggingFace相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「HuggingNews」，本期HuggingNews有哪些有趣的消息，快来看看吧！重磅更新TransformersAgents发布，通过自然语言控制超过十多万个HF模型！近期，我们发布了一个非常“大胆”的新特性:Transfo
·2023-08-23 23:05

背景 | 基于 Transformers 的编码器-解码器模型

!pipinstalltransformers==4.2.1!pipinstallsentencepiece==0.1.95Vaswani等人在其名作Attentionisallyouneed中首创了基于transformer的编码器-解码器模型，如今已成为自然语言处理(naturallanguageprocessing，NLP)领域编码器-解码器架构的事实标准。最近基于transformer的编
·2023-08-23 23:34

编码器-解码器 | 基于 Transformers 的编码器-解码器模型

基于transformer的编码器-解码器模型是表征学习和模型架构这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由SebastionRuder撰写的这篇精彩博文。此外，建议读者对自注意力(self-attention)架构有一个基本了解，可以阅读JayAlammar的这篇博文复习一下原始transformer模型。本文分4个部分:背景-简要回顾
·2023-08-23 23:34

AI大模型-如何利用开源模型节约成本？

1.1准备工作1.首先需要安装sentence-transformers，我们需要它下面的paraphrase-multilingual-mpnet-base-v2多语言模型，它比较好的支持中文。
渣渣洒泪成长记·2023-08-23 15:35

pytorch_pretrained_bert换成transformers踩坑

本文以文本分类为例叙述步骤1、前向传播时，pytorch_pretrained_bert是以下内容_,pooled=self.bert(context,token_type_ids=types,attention_mask=mask,output_all_encoded_layers=False)报错：result=self.forward(*input,**kwargs)TypeError:fo
余俊晖·2023-08-23 11:18

第十一篇-Tesla P40+Text-Generation-Webui

部署环境系统：CentOS-7CPU:14C28T显卡：TeslaP4024G驱动:515CUDA:11.7cuDNN:8.9.2.26介绍简单好用(当然速度不是最快的)，支持多种方式加载模型，transformers
木卫二号Coding·2023-08-23 08:19

lora 微调时，各个大模型使用的modules_mapping配置

以下是各个大模型使用的modules_mapping配置：TRANSFORMERS_MODELS_TO_LORA_TARGET_MODU
samoyan·2023-08-23 06:43

Gato之后，谷歌也推出「通才型」智能体Multi-Game Decision Transformers

姓名：李昊菲；学号：22011110007；学院：通信工程学院源自https://mp.weixin.qq.com/s/Id2jIDpmgtDlw3X8BZHJqQ【嵌牛导读】在自然语言处理、计算机视觉和二者的交叉领域中，通过训练大量与任务无关的数据集，建立大规模的通用模型来解决许多任务，已经成为主流方法。这些模型可以适应新的任务(例如翻译)，利用不相关的数据(例如使用高资源语言来改进低资源语言的
墨墨mo很努力·2023-08-23 00:51

Training data-efficient image transformers & distillation through attention

这篇文章最大的贡献就是有效降低了visiontransformer的训练成本（时间以及数据），提高了ViT实验的可复现性，本文所提出的DeiT只需要在8块gpu上训练不到3天，就可以达到媲美JFT上训练的ViT的精度。在Google所提的ViT文章中的实验结果表明，visiontransformer在用超大数据集（如JFT）做训练的情况下，性能才能超过CNN。本文在结构上没有对visiontran
nowherespyfly·2023-08-21 10:25

LLM架构自注意力机制Transformers architecture Attention is all you need

使用Transformers架构构建大型语言模型显著提高了自然语言任务的性能，超过了之前的RNNs，并导致了再生能力的爆炸。
AI架构师易筋·2023-08-21 09:28

[NLP] BERT模型参数量

借助transformers模块查看一下模型的架构：importtorchfromtransformersimportBertTokenizer,BertModelbertModel=BertModel.fro
奇思闻影的舒克与贝克·2023-08-21 09:58

在 Transformer 之前生成文本 Text generation before transformers

1.在Transformer之前生成文本重要的是要注意，生成算法并不是新的。先前的语言模型使用了一个叫做循环神经网络或RNN的架构。尽管RNN在其时代很强大，但由于需要大量的计算和内存来很好地执行生成任务，所以它们的能力受到了限制。让我们看一个RNN执行简单的下一个词预测生成任务的例子。模型只看到了一个之前的词，预测不可能很好。当您扩展RNN实现以能够看到文本中的更多前面的词时，您必须大幅度地扩展
AI架构师易筋·2023-08-21 02:13

tf2 HuggingFace Transformer2.0 bert情感分析

bert原理在此不介绍bert的输入参数input_idstoken_type_idsattention_maskbert的输出参数句子字向量python环境tensorflow2torch1.4.1transformers2.4.1
阿东7·2023-08-20 13:26

[Python]BLOOM模型推理简介

文章目录pytorch推理ds_zero推理BLOOM模型是Huggingface开发的，在transformers库中提供了支持：通过AutoTokenizer从模型中加载Tokenizer；通过AutoModelForCausalLM
alwaysrun·2023-08-20 11:53

Bottleneck Transformers for Visual Recognition

谷歌和伯克利一起提出的BottleneckTransformer（BoT）属于一种hybridnetwork，将cnn和transformer结合起来，以期达到比二者单独使用更好的效果。BoT整体的想法其实比较简单，针对objectdetection、instancesegmentation等对输入图像尺寸要求较高的任务，普通的transformer（ViT）计算量和显存占用都很难做到大分辨率输入
nowherespyfly·2023-08-20 11:04

Transformers架构系列---transformers库的使用

Transformers最初是由Google发布的论文AttentionisAllYouNeed(2017)提出的一种新的深度学习网络架构，这篇论文证明了序列模型（如LSTM）可以完全被注意力机制取代，
城南皮卡丘·2023-08-20 05:13

python-transformers基础总结【一】

2023年8月17日9:00:14transformers模型只接受tensor作为输入，因此需要在在tokenizer的时候需要加参数return_tensors=“pt”,列表嵌套列表是不允许的。
liwulin0506·2023-08-19 23:37

python-transformers基础总结【二】-如何微调一个预训练模型

如何微调一个预训练模型importtorchfromtransformersimportAdamW,AutoTokenizer,AutoModelForSequenceClassification#以前不用变化checkpoint="bert-base-uncased"tokenizer=AutoTokenizer.from_pretrained(checkpoint)model=AutoMode
liwulin0506·2023-08-19 23:37

python-transformers常用的pipline和常用模型介绍

transformers库提供了许多预训练模型和pipeline，可以用于各种自然语言处理任务，如文本分类、命名实体识别、情感分析、问答等。
liwulin0506·2023-08-19 23:07

ChatGLM-6B 本地安装、部署和运行的常见问题解答及优化建议

目录ChatGLM-6B常见报错及解决方案报错Nomodulenamed‘transformers_modules.THUDM/chatglm-6b’
恒TBOSH·2023-08-19 16:01

Awesome NLP — 2022 年 21 个流行的 NLP 库

Transformers提供了数以千计的预训练模型来执行不同模态的
Sonhhxg_柒·2023-08-19 01:00

REC 系列 Visual Grounding with Transformers 论文阅读笔记

REC系列VisualGroundingwithTransformers论文阅读笔记一、Abstract二、引言三、相关工作3.1视觉定位3.2视觉Transformer四、方法4.1基础的视觉和文本编码器4.2定位编码器自注意力的文本分支文本引导自注意力的视觉分支4.3定位解码器定位query自注意力编码器-解码器自注意力4.4预测头和训练目标五、实验5.1数据集5.2实施细节超参数的设置训练和
乄洛尘·2023-08-18 21:03

Arxiv网络科学论文摘要7篇(2021-04-16)

利用国家范围的供应网络量化企业层面的经济系统性风险;使用大规模移动数据的相互依存的城市社会物理系统弹性：建模恢复动力学;建立流行病学路由的快速且准确的相互接触时间模型;在Twitter的Birdwatch平台上进行基于社区的事实检查;基于BERT的Transformers
ComplexLY·2023-08-18 09:55

End-to-End Object Detection with Transformers

DERT目标检测基于卷积神经网络的目标检测回顾DETR对比SwinTransformer摘要检测网络流程DERT网络架构编码器概述解码器概述整体结构objectqueries的初始化Decoder中的Muiti-HeadSelf-AttentionDecoder中的Muiti-HeadAttention损失函数解决的问题基于卷积神经网络的目标检测回顾双阶段代表检测算法：fasterrcnn单阶段代
计算机CV民工·2023-08-18 08:50

onnx生成失败

whichincludeslayerslikeAdapativeAvgPool2dwhicharen'tsupportednativelybyONNX.https://github.com/huggingface/transformers
菌子甚毒·2023-08-17 07:51

[工具环境] pip&git lfs下载命令

关键词：pip,gitlfspip从git下载指定的提交版本伴随着大模型的火热发展，PEFT和transformers也是更新频繁，常会看到requirements中安装的软件包来自github中的某个
晨阳2023·2023-08-17 00:08

Huggingface的介绍，使用（CSDN最强Huggingface入门手册）

返回论文和资料目录1.Huggingface的简介Huggingface即是网站名也是其公司名，随着transformer浪潮，Huggingface逐步收纳了众多最前沿的模型和数据集等有趣的工作，与transformers
小怪兽会微笑·2023-08-17 00:35

HuggingFace开源的自然语言处理AI工具平台

HuggingFace平台主要包括以下几个部分：Transformers：一个提供了数千种预训练好的NLP模型（如BERT、GPT-3等）以及相应工具包（如PyTorch、TensorFlow等）接口的库
Just Jump·2023-08-17 00:05

chatglm2-6b模型在9n-triton中部署并集成至langchain实践 | 京东云技术团队

目前大多数部署方案采用的是fastapi+uvicorn+transformers，这种方式适合快速运行一些demo，在生产
京东云技术团队·2023-08-16 20:29

chatglm2-6b模型在9n-triton中部署并集成至langchain实践 | 京东云技术团队

目前大多数部署方案采用的是fastapi+uvicorn+transformers，这种方式适合快速运行一些demo，在生产
·2023-08-16 11:50

KU Leuven & TU Berlin 推出“RobBERT”，一款荷兰索塔 BERT

谷歌的BERT（来自Transformers的BidirectionalEncoderR表示）于2019年首次推出，是一种强大而流行的语言表示模型，旨在预训练来自未标记文本的深度双向表示。
大伟先生·2023-08-16 02:06

【论文精读】AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

ANIMAGEISWORTH16X16WORDS:TRANSFORMERSFORIMAGERECOGNITIONATSCALE前言Abstract1INTRODUCTION2RELATEDWORK3METHOD3.1VISIONTRANSFORMER(VIT)InductivebiasHybridArchitecture3.2FINE-TUNINGANDHIGHERRESOLUTION4EXPER
HERODING77·2023-08-14 18:19

TransUNet：用于医学图像分割的Transformers强大编码器

随着最近Transformers的快速发展，开始有一种要统一视觉领域的感觉。现在transformers终于向U-Net下手了。
skyfengye·2023-08-13 09:35

【论文阅读】基于深度学习的时序预测——Non-stationary Transformers

系列文章链接论文一：2020Informer：长时序数据预测论文二：2021Autoformer：长序列数据预测论文三：2022FEDformer：长序列数据预测论文四：2022Non-StationaryTransformers：非平稳性时序预测论文五：2022Pyraformer：基于金字塔图结构的时序预测论文六：2023Crossformer：多变量时序预测论文七：2023LSFT-Line
`AllureLove·2023-08-12 08:55

[CVPR2022] 用于 3D 医学图像分析的 Swin Transformers 的自监督预训练

Self-SupervisedPre-TrainingofSwinTransformersfor3DMedicalImageAnalysis摘要VisionTransformer(ViT)在全局和局部表示的自监督学习方面表现出了出色的性能，这些表示它可以转移到下游任务的应用中。提出模型：提出一种新的自监督学习框架SwinUNETR，它具有定制的代理任务，用于医学图像分析。模型介绍：(1)一种新的基
夏目友人不还账·2023-08-11 18:27

Bug解决：ModuleNotFoundError: No module named ‘taming‘

fromtaming.modules.vqvae.quantizeimportVectorQuantizer2asVectorQuantizerModuleNotFoundError:Nomodulenamed'taming'在安装taming-transformers
前尘昨夜此刻·2023-08-11 09:33

报错：导入`transformers`模块时发生了错误

遇见了以下报错Traceback(mostrecentcalllast):File"D:\ANACONDA\lib\site-packages\modelscope\utils\import_utils.py",line434,in_get_modulereturnimportlib.import_module('.'+module_name,self.__name__)File"D:\ANACO
LiuTselin·2023-08-10 20:30

开放世界实例分割：Exploring Transformers for Open-world Instance Segmentation

论文作者：JiannanWu,YiJiang,BinYan,HuchuanLu,ZehuanYuan,PingLuo作者单位：TheUniversityofHongKong;ByteDance;DalianUniversityofTechnology;ShanghaiAILaboratory论文链接：https://arxiv.org/pdf/2308.04206v1.pdf内容简介：1）方向：开
学术菜鸟小晨·2023-08-10 18:38

如何在使用transformers.Trainer时关闭wandb

诸神缄默不语-个人CSDN博文目录transformers.Trainer的好用和难调是二位一体的。不知道是什么天才想的非要在Trainer里面内置wandb，可能是wandb的销售吧。
诸神缄默不语·2023-08-09 10:22

Bug小能手系列(python)_7: BertTokenizer报错 Connection reset by peer

解决思路1.1添加代码force_download=True1.2删除缓存1.3科学上网1.4offline下载2.解决方法2.1清除缓存2.2offline下载模型（强烈建议）3.总结0.错误介绍当使用transformers
sjx_alo·2023-08-08 02:00

hugging face transformers 库使用手册（一）：库理解和评价

最近学了huggingfacetransformers库，学成归来，把笔记整理一下，互勉。首先贴api文档地址：huggingfacetransformers库api文档有兴趣详细了解的可以去仔细看看准备把这个写成一个小系列。不想搞太复杂，“太长不看”。但是也不想缺内容，不然用的时候抓瞎。所以先贴一个整体印象上来，对这个库的架构、怎么用有个初步的大致了解。然后再开一篇文介绍精调到底怎么操作。最后再
Cleo_Gao·2023-08-07 18:40

hugging face transformers 库使用手册（二）：调用 hugging face transformers 预训练模型进行快速预测——api: Pipeline

文章目录Pipeline对象使用示例获取处理某个任务的pipeline获取某个模型的pipeline使用pipeline一次性预测多个输入`transformers.pipeli
Cleo_Gao·2023-08-07 18:40

[Transformer] DETR: End-to-End Object Detection with Transformers

ECCV2020FacebookAI第一个用Transformer进行目标检测的网络论文：https://arxiv.org/abs/2005.12872代码：https://github.com/facebookresearch/detr搭建参考：【CODE】Facebook最新DETR（基于Transformer）目标检测算法实战_哔哩哔哩_bilibili1简介DETR通过将常见的CNN与T
Cherry_qy·2023-08-07 18:03
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他