TRANSFORMERS

Huggingface简介及BERT代码浅析

本期的内容是结合Huggingface的Transformers代码，来进一步了解下BERT的pytorch实现，欢迎大家留言讨论交流。Hugg
愚昧之山绝望之谷开悟之坡·2023-09-11 03:38

《自然语言处理(NLP)的最新进展：Transformers与GPT-4的浅析》

博主猫头虎（）带您GotoNewWorld✨博客首页——猫头虎的博客《面试题大全专栏》文章图文并茂生动形象简单易学！欢迎大家来踩踩~《IDEA开发秘籍专栏》学会IDEA常用操作，工作效率翻倍~《100天精通Golang(基础入门篇）》学会Golang语言，畅玩云原生，走遍大小厂~希望本文能够给您带来一定的帮助文章粗浅，敬请批评指正！文章目录《自然语言处理(NLP)的最新进展：Transformer
猫头虎·2023-09-11 03:07

新技术前沿-2023-基于Hugging Face体验微软NewBing必应GPT4.0

go-proxy-bing的GitHub官网1HuggingFace简介Huggingface起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers
皮皮冰燃·2023-09-10 20:12

【ICCV2023】Robustifying Token Attention for Vision Transformers

RobustifyingTokenAttentionforVisionTransformers论文：https://arxiv.org/abs/2303.11126代码：暂未开源解读：ICCV2023|Token过度聚焦暴露注意力机制弱点，两种模块设计增强视觉Transformer鲁棒性-知乎(zhihu.com)摘要VisionTransformer在图像分类等任务中表现出色，但在面对常见的图像
m0_61899108·2023-09-10 13:13

End-to-End Object Detection with Transformers(论文解析)

End-to-EndObjectDetectionwithTransformers摘要介绍相关工作2.1集合预测2.2transformer和并行解码2.3目标检测3DETR模型3.1目标检测集设置预测损失3.2DETR架构摘要我们提出了一种将目标检测视为直接集合预测问题的新方法。我们的方法简化了检测流程，有效地消除了许多手工设计的组件的需求，如显式编码我们关于任务的先验知识的非极大值抑制过程或锚
黄阳老师·2023-09-09 20:20

DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION (论文解析)

DEFORMABLEDETR:DEFORMABLETRANSFORMERSFOREND-TO-ENDOBJECTDETECTION摘要1介绍2相关工作3重新审视Transformers和DETR4方法4.1
黄阳老师·2023-09-09 20:48

【nlp-with-transformers】|Transformers中的generate函数解析

今天社群中的小伙伴面试遇到了一个问题，如何保证生成式语言模型在同样的输入情况下可以保证同样的输出。这里面造成问题的因素有两个方面：一个方面是在forward过程中参数的计算出现了差异，这种情况一般发生在游戏显卡中，游戏显卡无法保证每一次底层算子计算都是成功的，也没有办法保证同输入同输出，这里我们就需要采用具有ecc内存纠错机智的专用显卡用来解决相关的问题。二个方面发生在进行概率预估时候的算法不同，
857技术社区·2023-09-09 07:13

IDEFICS 简介: 最先进视觉语言模型的开源复现

今天，我们很高兴能发布HuggingFace对CodeLlama的全面支持,包括:Hub上的模型支持，包括模型卡及许可证Transformers已集成CodeLlamaTGI已集成CodeLlama，以
·2023-09-09 00:31

【分布式训练】Accelerate 多卡训练，单卡评测，进程卡住的解决办法

一开始打算使用Transformers的Trainer，但是配置的过程踩了很多坑也没有弄成功。
天杪·2023-09-08 19:06

用huggingface.Accelerate进行分布式训练

诸神缄默不语-个人CSDN博文目录本文属于huggingface.transformers全部文档学习笔记博文的一部分。
诸神缄默不语·2023-09-08 16:35

accelerate 分布式技巧实战--部署ChatGLM-6B（三）

accelerate分布式技巧实战–部署ChatGLM-6B（三）基础环境torch==2.0.0+cu118transformers==4.28.1accelerate==0.18.0TeslaT415.3G
发呆的比目鱼·2023-09-08 06:03

Hugging Face实战-系列教程12：文本预训练模型构建3（模型自动导入/transformers/BERT/模型蒸馏/文本截断处理/随机mask）、项目实战、源码解读

HuggingFace实战系列总目录有任何问题欢迎在下面留言本篇文章的代码运行界面均在JupyterNotebook中进行本篇文章配套的代码资源已经上传HuggingFace实战-系列教程10：文本预训练模型构建1HuggingFace实战-系列教程11：文本预训练模型构建25、完形填充训练5.1随机mask接下来我们需要随机mask掉一些位置，然后来进行预测，方法huggingface已经提供好
机器学习杨卓越·2023-09-08 05:59

论文翻译——VIT——An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale

一.论文简介：文章链接：https://arxiv.org/abs/2010.11929代码地址：GitHub-google-research/vision_transformer"AnImageIsWorth16x16Words:TransformersforImageRecognitionatScale"是由Dosovitskiy等人于2020年发表的论文。这篇论文提出了VisionTrans
一只小百里·2023-09-08 00:29

Code Llama：Llama 2 学会写代码了！

今天，我们很高兴能发布HuggingFace对CodeLlama的全面支持,包括:Hub上的模型支持，包括模型卡及许可证Transformers已集成CodeLlamaTGI已集成CodeLlama，以
·2023-09-07 21:07

大语言模型推理与部署工具介绍

工具特点CPUGPU量化GUIAPIvLLM§16K‡教程llama.cpp丰富的量化选项和高效本地推理✅✅✅❌✅❌✅linkTransformers原生transformers推理接口✅✅✅✅❌✅✅linkColabDemo
柴神·2023-09-07 21:12

CMT:卷积与Transformers的高效结合

论文提出了一种基于卷积和VIT的混合网络，利用Transformers捕获远程依赖关系，利用cnn提取局部信息。构建了一系列模型cmt，它在准确性和效率方面有更好的权衡。
deephub·2023-09-07 21:35

CMT:卷积与Transformers的高效结合

论文提出了一种基于卷积和VIT的混合网络，利用Transformers捕获远程依赖关系，利用cnn提取局部信息。构建了一系列模型cmt，它在准确性和效率方面有更好的权衡。
·2023-09-07 09:58

自然语言处理(八)：预训练BERT

来自Transformers的双向编码器表示（BERT）BERT（BidirectionalEncoderRepresentationsfromTransformers）是一种预训练的自然语言处理模型，
青云遮夜雨·2023-09-06 17:15

自然语言处理(七)：来自Transformers的双向编码器表示（BERT）

来自Transformers的双向编码器表示（BERT）BERT（BidirectionalEncoderRepresentationsfromTransformers）是一种预训练的自然语言处理模型，
青云遮夜雨·2023-09-06 17:10

通义千问部署搭建

复制脚本2.2.1问题1：ImportError:Thismodelingfilerequiresthefollowingpackagesthatwerenotfoundinyourenvironment:transformers_stream_generator.Run
代码浪人·2023-09-06 14:37

ModuleNotFoundError: No module named ‘transformers.modeling_bart‘解决方案

  大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。  本文主要介绍了ModuleNotFoundErro
爱编程的喵喵·2023-09-06 06:20

预训练Bert添加new token的问题

问题最近遇到使用transformers的AutoTokenizer的时候，修改vocab.txt中的[unused1]依然无法识别相应的newtoken。
hhy不许摸鱼·2023-09-05 08:23

【图像超分辨率重建】——SwinIR论文阅读笔记

虽然最先进的图像恢复方法是基于卷积神经网络，但很少有人尝试使用Transformers，这些Transformers在高级视觉任务中表现出令人印象深刻的性能。在本文中，我们提出了一个强基
沉潜于·2023-09-05 06:41

DERT：End-to-End Object Detection with Transformers

文章目录摘要1、简介2、相关工作2.1、集合预测2.2、Transformer与并行解码2.3、目标检测3、DETR模型3.1、目标检测集合预测损失3.2、DETR架构4、实验4.1、与FasterR-CNN的对比4.2、消融4.3、分析4.4、用于全景分割的DETR5、结论附录AA.1、初步:多头注意层A.2、损失A.3、详细架构A.4、训练超参数A.5、其他结果
静静AI学堂·2023-09-05 00:34

Llama-7b-hf和vicuna-7b-delta-v0合并成vicuna-7b-v0

fastchatcondaactivatefastchat安装torchpipinstalltorch==1.13.1torchvision==0.14.1torchaudio==0.13.1二、安装fastchat和transformers
Spielberg_1·2023-09-04 20:50

融合MMEdu和Transformers技术的视障出行智能辅助系统（上海浦育AI未来夏令营结题论文）

融合MMEdu和Transformers技术的视障出行智能辅助系统摘要面对社会生活中众多视障者对出行的需求，视障出行智能辅助系统融合MMEdu和Transformers技术为视障者提供实时路况分析。
沾花把玖·2023-09-04 16:27

【第37篇】EdgeViTs： 在移动设备上使用Vision Transformers 的轻量级 CNN

文章目录摘要1简介2相关工作3EdgeViTS3.1概述3.2局部-全局-局部瓶颈3.3架构4实验4.1ImageNet-1K上的图像分类4.2密集预测5结论算法1EdgeViTs构建块，类似PyTorch的代码摘要基于自我注意的模型，例如视觉转换器(ViT)，已成为计算机视觉中卷积神经网络(CNN)的一种极具竞争力的架构替代方案。尽管越来越强大的变体具有越来越高的识别精度，但由于自我注意的二次复
静静AI学堂·2023-09-04 09:51

BERT论文解读: Pre-training of Deep Bidirectional Transformers for Language Understanding（2018）

论文总结BERT模型的提出几乎就是针对于GPT的，文章实验部分主要就是在和GPT进行效果对比。因此，BERT模型总体上就是在GPT提出的基础上，进行了一部分创新和优化，提出了Bidirectional双向语言模型，预训练阶段采用遮罩语言模型（MaskedLM）。论文同时也进行了模型下游任务训练时feature-based和fine-tuning的对比分析。BERT模型的测试结果，有几个重要结论和启
响尾大菜鸟·2023-09-03 08:14

【论文阅读】Pay Attention to MLPs

作者：GoogleResearch,BrainTeam泛读：只关注其中cv的论述提出了一个简单的网络架构，gMLP，基于门控的MLPs，并表明它可以像Transformers一样在关键语言和视觉应用中发挥作用提出了一个基于
挥剑决浮云 -·2023-09-03 00:16

DERT：End-to-End Object Detection with Transformers

文章目录摘要1、简介2、相关工作2.1、集合预测2.2、Transformer与并行解码2.3、目标检测3、DETR模型3.1、目标检测集合预测损失3.2、DETR架构4、实验4.1、与FasterR-CNN的对比4.2、消融4.3、分析4.4、用于全景分割的DETR5、结论附录AA.1、初步:多头注意层A.2、损失A.3、详细架构A.4、训练超参数A.5、其他结果
AI浩·2023-09-02 00:29

使用自己的领域数据扩充baichuan模型词表（其他模型也一样）

环境jsonlines==3.1.0sentencepiece==0.1.99transformers==4.28.1项目结构其中tokenization_baichuan.py是直接从百川模型文件夹里复制过来的
ToTensor·2023-09-01 10:44

标准 Transformer 可以成为强大的超图学习器 Pure Transformers Can Be Powerful Hypergraph Learners

PureTransformersCanBePowerfulHypergraphLearners要闻速览TokenHGT:BasedonTokenGT实验结果结论与局限性这是我的硕士毕业论文，代码Github要闻速览现有问题：图/超图卷积运算（消息传递方法）可能会导致过度平滑问题。改进结构的Transformer是为特定任务而设计的，可能会限制模型的多功能性，从而阻碍集成到多任务和多模态通用注意力架
是土豆大叔啊！·2023-09-01 06:37

huggingface transformers库中LlamaForCausalLM

新手入门笔记。LlamaForCausalLM的使用示例，这应该是一段推理代码。fromtransformersimportAutoTokenizer,LlamaForCausalLMmodel=LlamaForCausalLM.from_pretrained(PATH_TO_CONVERTED_WEIGHTS)tokenizer=AutoTokenizer.from_pretrained(PAT
Jerry_liu20080504·2023-08-31 20:19

BERT 上的动态量化

BERT，或者说Transformers的双向嵌入表示法，是一种预训练语言表示法的新方法，可以在许多流行的自然语言处理(NLP）任务(例如问题解答，文本分类，和
yanglamei1962·2023-08-30 13:51

DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION 论文精读笔记

DEFORMABLEDETRDEFORMABLEDETR:DEFORMABLETRANSFORMERSFOREND-TO-ENDOBJECTDETECTION参考：AI-杂货铺-Transformer跨界CV又一佳作！DeformableDETR：超强的小目标检测算法！摘要摘要部分，作者主要说明了如下几点：为了解决DETR中使用Transformer架构在处理图像特征图时的局限性而导致的收敛速度慢
wyypersist·2023-08-30 08:59

GPT 系列笔记

openai出品,与google的bert系列是不同的任务,NLGenerationvs.NLUnderstanding.二.GPT-2hugging-face的transformers库中有模型源码,
yichudu·2023-08-29 21:19

机器学习小白学习笔记：深度学习时序预测模型 Temporal Fusion Transformers

前言由于接触的时序预测问题基本都来自于数字化转型期的企业，我经常发现，在解决实际时序预测问题的时候，大部分时候还是用树模型结合特征工程的思路，关键点往往都在数据和特征工程上，如果想要使用深度学习，有时候客户的数据量不满足，有时候客户的生产环境不允许。我自己在一些时序预测问题，比如销量预测问题的比赛上，也做过一些尝试，发现深度学习模型里面，TFT这个模型基本都能有不错的效果，所以就萌生了学习一下的想
MeetLight·2023-08-29 06:26

cs231n assignment3 q3 Image Captioning with Transformers

文章目录先啰嗦直接看代码Q3ImageCaptioningwithTransformersMultiHeadAttention.forward题面解析代码输出PositionalEncoding题面解析代码输出transformer.forward题面解析代码输出先啰嗦直接看代码Q3ImageCaptioningwithTransformersMultiHeadAttention.forward题
理智点·2023-08-28 18:55

BEiT: BERT Pre-Training of Image Transformers 论文笔记

BEiT:BERTPre-TrainingofImageTransformers论文笔记论文名称：BEiT:BERTPre-TrainingofImageTransformers论文地址：2106.08254]BEiT:BERTPre-TrainingofImageTransformers(arxiv.org)代码地址：unilm/beitatmaster·microsoft/unilm(gith
迪菲赫尔曼·2023-08-28 16:06

webassembly009 transformers.js 网页端侧推理

这里的transformers.js相当于在网页端实现了transformer库。Transformers.js在功能
FakeOccupational·2023-08-28 15:02

几个nlp的小任务(生成式任务——语言模型(CLM与MLM))

@TOC本章节需要用到的类库微调任意Transformers模型（CLM因果语言模型、MLM遮蔽语言模型）CLMMLM准备数据集展示几个数据的结构
码manba·2023-08-27 23:52

BERT 模型微调实战：使用Transformers微调BERT模型实现问答和文本分类任务

一、BERT介绍BERT（BidirectionalEncoderRepresentationsfromTransformers）是一种预训练的自然语言处理模型，由Google于2018年发布。BERT模型的核心是Transformer编码器，它可以在大规模语料库上进行无监督预训练，然后通过微调在各种NLP任务上进行微调。BERT模型是一种双向的深度学习模型，它可以同时考虑上下文中的所有单词，从而
技术狂潮AI·2023-08-27 08:24

使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

本着与bitsandbytes合作一样的精神，我们将AutoGPTQ代码库集成到了Transformers中，让用户使用GPTQ算法(F
Hugging Face·2023-08-26 15:37

几个nlp的小任务（序列标注）

几个nlp的小任务（序列标注）安装一个评估的库序列标注的介绍初始化参数加载数据集查看数据集编码选出示例展示数据预处理类，转token判断是否为transformers.PreTrainedTokenizerFast
码manba·2023-08-26 09:50

关于Transformers库预训练模型输入的一些细节问题

输入是否需要添加开始标志[bos]、bos等特殊标志？结论：开始标志[bos]不需要手动添加，模型自动帮你添加，结束标志[eos]必须添加具体原因可以往下看1.输入是否需要添加开始标志[bos]、bos等特殊标志？在RNN的时代，对于Seq2Seq模型，我们必不可少的要对数据进行处理添加开始标志[bos]和结束标志[eos],这样做的目的是在解码阶段模型进行自回归语言模型时，模型可以收到一个结束标
一如年少模样丶·2023-08-26 08:30

Facebook AI mBART：巴别塔的硅解

2018年，谷歌发布了BERT（来自transformers的双向编码器表示），这是一种预训练的语言模型，在一系列自然语言处理（NLP）任务中对SOTA结果进行评分，并彻底改变了研究领域。
大伟先生·2023-08-26 06:57

“超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据，ChatGLM-v2、中文Bloom、Dolly_v2_3b助您实现更智能的应用！”

1.简介目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案；数据：从开源社区，整理了海量的训练数据
汀、人工智能·2023-08-26 05:39

全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！

全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！
汀、人工智能·2023-08-26 05:39

使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

本着与bitsandbytes合作一样的精神，我们将AutoGPTQ代码库集成到了Transformers中，让用户使用GPTQ算法(F
·2023-08-25 23:00

LLM（大语言模型）解码时是怎么生成文本的？

Part1配置及参数transformers==4.28.1源码地址：transformers/configuration_utils.pyatv4.28.1·huggingface/transformers
supeerzdj·2023-08-25 13:30
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他