TRANSFORMERS

论文解读：End-to-End Object Detection with Transformers

发表时间：2020论文地址：https://arxiv.org/pdf/2005.12872.pdf项目地址：https://github.com/facebookresearch/detr提出了一种将对象检测视为集合预测问题的新方法。我们的方法简化了检测流程，有效地消除了许多手工设计的组件的需要，如非最大抑制程序或锚框生成，显式地编码了对任务的先验知识。新框架被称为检测transformer或D
万里鹏程转瞬至·2023-06-23 22:39

【adapter-transformers】：Installation & QuickStart（一、安装与快速启动）

【要求】：adapter-transformers是Huggingface的transformers库的直接替代品。它目前支持Python3.8+和PyTorch1.12.1+。
ReadyGo!!!·2023-06-23 20:32

RIS 系列：TransVG: End-to-End Visual Grounding with Transformers 论文阅读笔记

RIS系列：TransVG:End-to-EndVisualGroundingwithTransformers论文阅读笔记一、Abstract二、引言三、相关工作3.1视觉定位两阶段方法单阶段方法3.2Transformer视觉任务中的Transformer视觉-语言任务中的Transformer四、视觉定位中的Transformer4.1基础知识4.2TransVG的结构视觉分支语言分支视觉-语
乄洛尘·2023-06-23 19:23

项目调研丨多区块并行处理公链 Transformers 研究报告

目录一、项目简介二、项目愿景三、特色和优势（1）速度（2）安全（3）可扩展性（4）高度定制（5）不可篡改（6）所有数据公开透明（7）支持智能合约四、发展历史五、团队背景六、融资信息七、项目架构（1）网络（2）共识算法（3）DAG（4）同步化（5）交易（6）节点运行要求八、发展成果（1）项目进展（2）基础数据九、经济模型（1）代币经济（2）代币权益（3）激励机制十、行业分析十一、风险与机会十二、合作
iNFTnews·2023-06-23 17:23

深入理解深度学习——BERT（Bidirectional Encoder Representations from Transformers）：BERT的结构

分类目录：《深入理解深度学习》总目录BERT是由堆叠的TransformerEncoder层组成核心网络，辅以词编码和位置编码而成的。BERT的网络形态与GPT非常相似。简化版本的ELMo、GPT和BERT的网络结构如下图所示。图中的“Trm”表示TransformerBlock，即基于Transformer的特征提取器。ELMo使用自左向右编码和自右向左编码的两个LSTM网络，分别以P(wi∣w
von Neumann·2023-06-23 14:01

map集合转对象，map字段有横线，对象转map

this.getEntityManager().createNativeQuery(sql.toString());query.unwrap(NativeQueryImpl.class).setResultTransformer(Transformers.ALIAS_TO_ENTITY_MAP
漫不经心a·2023-06-22 22:29

文献阅读：Foundation Transformers

文献阅读：FoundationTransformers1.文章简介2.模型结构1.Sub-LN2.Initialization3.实验效果1.NLP任务1.语言模型上效果2.MLM模型上效果3.翻译模型上效果2.Vision任务上效果3.Speech任务上效果4.图文任务上效果4.结论&思考文献链接：https://arxiv.org/abs/2210.06423GitHub:https://gi
Espresso Macchiato·2023-06-22 07:48

pytorch: Transformers入门（三）

BERT的那些类1.BertConfig这是一个配置类，继承PretrainedConfig类，用于model的配置，构造函数参数如下：vocab_size(int,optional,defaultsto30522)：BERT模型的字典大小，默认30522，每个token可以由input_ids表示。hidden_size(int,optional,defaultsto768)：是encoder和
不太聪明的亚子·2023-06-22 02:55

LayerNorm 在 Transformers 中对注意力的作用研究

LayerNorm一直是Transformer架构的重要组成部分。如果问大多人为什么要LayerNorm，一般的回答是：使用LayerNorm来归一化前向传播的激活和反向传播的梯度。其实这只是部分正确：Brody、Alon和Yahav的一篇题为“OntheExpressivityRoleofLayerNorminTransformer'sAttention”的新论文表明，LayerNorm的作用要
·2023-06-20 10:53

LLM：预训练语言模型finetune下游任务

安装依赖LLM：Transformers库_-柚子皮-的博客-CSDN博客还要安装accelerate>=0.12.0datasets>=1.8.0sentencepiece!
-柚子皮-·2023-06-20 07:34

TrainingArguments 报错，降低transformers版本即可解决

fromtransformersimportTrainingArgumentstraining_args=TrainingArguments("test-trainer")TrainingArguments报错，报错信息如下ImportErrorTraceback(mostrecentcalllast)in()1fromtransformersimportTrainingArguments2---
jieshenai·2023-06-19 03:06

本地安装部署运行 ChatGLM-6B 的常见问题解答以及后续优化

报错Nomodulenamed‘transformers_modules.THUDM/chatglm-6b’报错本身的意思是，没有在指定的路径THUDM/chatglm-6b找到推理用模型一般常见于自己手动下载模型
柴神·2023-06-19 01:50

使用BERT进行文本分类

本范例我们微调transformers中的BERT来处理文本情感分类任务。我们的数据集是美团外卖的用户评论数据集。模型目标是把评论分成好评(标签为1)和差评(标签为0)。#安装库#!
算法美食屋·2023-06-18 19:17

使用Vision Transformers实现高效语义分割的内容感知共享Token

文章目录Content-awareTokenSharingforEfficientSemanticSegmentationwithVisionTransformers摘要本文方法Content-awaretokensharingframeworkContent-awaretokensharingpolicy实验结果Content-awareTokenSharingforEfficientSeman
小杨小杨1·2023-06-18 15:47

【BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文略读】

BERT：Pre-trainingofDeepBidirectionalTransformers...论文略读INFORMATIONAbstract1Introduction2RelatedWork2.1UnsupervisedFeature-basedApproaches2.2UnsupervisedFine-tuningApproaches2.3TransferLearningfromSupe
小白*进阶ing·2023-06-18 07:14

NLP——ELMO；BERT；Transformers

文章目录ELMOELMO简介ELMO优点利用了多层的hidden表示ELMO缺点BERTBERTV.S.ELMO两种预训练任务Object1:MaskedLanguageModelObject2:Nextsentenceprediction训练细节如何使用BERTBERT应用——垃圾邮件分类Transformerself-attentionMulti-headAttentionTransforme
暖仔会飞·2023-06-18 00:22

Hugging face 模型微调学习：T5-base的微调

Huggingface在github上开源了一个Transformers库，允许用户上传和下载的预训练的模型，并进行原有模型的基础上进行微调。
zz_Lambda·2023-06-17 01:35

Hugging Face 中计算机视觉的现状

开始只是Transformers中VisionTransformers(ViT)的一个PR，现在已经发展壮大:8个核心视觉任务，超过3000个模型，在HuggingFaceHub上有超过1000个数据集
·2023-06-16 22:08

想要更好地理解大模型架构？从计算参数量快速入手

该文章提供了精确的Transformers模型的参数量计算公式和不太准确的简略公式版本，使读者能够快速估算基于Transformer的任何模型中参数的数量。以下是译文，Enjoy
Baihai IDP·2023-06-16 13:06

bert结构模型的转换及[unusedxx]的不拆token

这里写自定义目录标题前沿torch格式转onnc方法1方法2保留[unused9]不分词transformers模块tensorflow模块前沿业界主流的模型结构包括tensorflow和pytorch
qq_42693848·2023-06-15 02:21

序列标注ner原理，CRF作用以及transformers ner使用

1.参考Pre-TrainingwithWholeWordMaskingforChineseBERT（中文BERT-wwm系列模型）https://github.com/ymcui/Chinese-BERT-wwmTransformers:State-of-the-artNaturalLanguageProcessingforTensorFlow2.0andPyTorch.https://gith
HxShine·2023-06-14 08:30

LLM：finetune预训练语言模型

RoBERTa/BERT/DistilBERTandmaskedlanguagemodeling[transformers/examples/pytorch/language-modelingatmain
-柚子皮-·2023-06-12 17:02

想要更好地理解大模型架构？从计算参数量快速入手

该文章提供了精确的Transformers模型的参数量计算公式和不太准确的简略公式版本，使读者能够快速估算基于Transformer的任何模型中参数的数量。以下是译文，Enjoy
·2023-06-12 10:36

机器学习-搭建轻量级GPT2训练对话

需要安装环境：python3.7、Transformers==4.2.0、pytorch==1.7.0、nginx（映射网页文件）我的系统：MACm2Mac默认是有一个Python在系统上，但是版本低，
渣渣洒泪成长记·2023-06-11 23:48

Elasticsearch：使用 Transformers 和 Elasticsearch 进行语义搜索

语义/矢量搜索是一种强大的技术，可以大大提高搜索结果的准确性和相关性。与传统的基于关键字的搜索方法不同，语义搜索使用单词的含义和上下文来理解查询背后的意图并提供更准确的结果。Elasticsearch是实现语义搜索最流行的工具之一，它是一种高度可扩展且功能强大的搜索引擎，可用于索引和搜索大量数据。在本文中，我们将探讨语义搜索的基础知识以及如何使用Elasticsearch实现它。到本文结束时，你将
Elastic 中国社区官方博客·2023-06-11 13:09

在Transformers 中使用约束波束搜索引导文本生成

引言本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识，具体可参见博文如何生成文本:通过Transformers用不同的解码方法生成文本。
·2023-06-11 12:36

MiniGPT-4 and LLaMA 权重下载

MiniGPT-4权重文件下载权重文件下载官方下载https://huggingface.co/docs/transformers/main/model_doc/llama填写表单，等待申请磁力下载磁力
星空liang·2023-06-11 12:20

在Transformers 中使用约束波束搜索引导文本生成

##**引言**本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识，具体可参见博文[如何生成文本:通过Transformers用不同的解码方法生成文本](https://huggingface.co
HuggingFace·2023-06-11 11:00

windows使用源代码安装transformers

安装huggingface的transformers有多种方式，对于网络不好的地方来说，使用源代码安装的方法链接：https://blog.csdn.net/PolarisRisingWar/article
好程序不脱发·2023-06-11 11:35

【CVPR2023】TPS详解：联合令牌剪枝与压缩以实现视觉变形器更积极的压缩

TPS详解3.1重要性计算3.2令牌压缩3.2.1匹配3.2.2融合4.简化版理解5.总结0.引言虽然VisionTransformers（ViTs）近年来在各种计算机视觉任务中展示出良好的效果，但是Transformers
sjx_alo·2023-06-10 11:39

DiffRate详解：高效Vision Transformers的可微压缩率

DiffRate详解：高效VisionTransformers的可微压缩率0.引言1.相关内容介绍1.1TransformerBlock1.2令牌修剪和合并1.3修剪和合并的统一2DiffRate中的创新点2.1令牌排序2.2压缩率重参数化2.3训练目标3.算法流程4.简化版理解5.总结0.引言就当前的VisionTransformers(例如vit)而言，模型是大规模的。有学者提出使用令牌压缩的
sjx_alo·2023-06-10 11:39

鹅厂专家讲透AI文本生成解码策略与代码实现

腾小云导读本文以huggingface-transformers的文本生成解码代码为例，对文本生成常用的五种解码策略greedysearch、beamsearch、sample、sampleandrank
·2023-06-09 20:24

TensorFlow2.2 安装包依赖

pipinstalltensorflow==2.2bert4keras==0.10.0keras==2.3.1gensim==3.0numpy==1.20.3transformers==3.4rasa=
tikatika·2023-06-09 20:02

5分钟 NLP系列 — SentenceTransformers 库介绍

该框架基于PyTorch和Transformers，并提供了大量针对各种任务的预训练模型。还可以很容易根据自己的模型进行微调。
deephub·2023-06-09 20:30

QLoRA：量化 LLM 的高效微调

QLoRA使用bitsandbytes进行量化，并与HuggingFace的PEFT和transformers库集成。QLoRA由华盛顿大学UWNLP小组的成员开发。
曾小健量化博士Dr·2023-06-09 15:50

Huggingface之transformers零基础使用指南

前几篇博文中介绍了Transformer，由于其优越的性能表现，在工业界使用的越来越广泛，同时，配合迁移学习理论，越来越多的Transformer预训练模型和源码库逐渐开源，Huggingface就是其中做的最为出色的一家机构。Huggingface是一家在NLP社区做出杰出贡献的纽约创业公司，其所提供的大量预训练模型和代码等资源被广泛的应用于学术研究当中。Huggingface所开源的Trans
奥辰_·2023-06-09 13:34

手把手教你玩Hugging Face

HuggingFace起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来，但是他们的这个库在机器学习社区迅速大火起来
小吹·2023-06-09 13:59

Python自然语言处理transformers工具包使用

目录1.安装transformers2.加载预训练词典和分词方法3.句子编码3.1句子编码3.2增强编码函数3.3.批量成对编码4.字典操作4.1获取字典4.2添加新词符号4.3编码新添加的词5.datasets
x+x=2x·2023-06-09 13:48

Python安装torch，transformers库

Python安装torch，transformers库前言安装torch库安装transformers库前言最近由于竞赛需要安装Python中机器学习torch已经transformers库函数，但是找了很多帖子
神使墨丘利·2023-06-09 12:08

斯坦福《Transformers集结》；大语言模型“书生・浦语“发布

AI新闻上海人工智能实验室发布1040亿参数大语言模型"书生・浦语"，在多项考试中超越ChatGPT摘要：上海人工智能实验室近日发布了一个千亿级参数大语言模型——“书生・浦语”。该模型在多领域测试中表现优秀，尤其在中文综合性考试中超越了ChatGPT。然而，该模型仍存在一些局限性，如语境窗口长度等。研究人员还通过多个学术评测集对“书生・浦语”进行了分项能力评测，该模型在阅读理解、数学推理、编程能力
go2coding·2023-06-09 12:21

GPT从入门到精通之 Tensorflow2.x 中如何使用 GPT 模型

模型安装首先，我们需要安装Tensorflow2.x和Transformers库（该库是一个用于构建和使用自然
Debug_Snail·2023-06-09 10:38

GPT从入门到精通之 如何使用 GPT 模型进行文本生成

准备工作在使用GPT模型进行文本生成之前，我们需要安装和准备相应的工具和技术：Tensorflow2.x和Transformers库：Tensorflow2.x是一种深度学习框架，而Transformers
Debug_Snail·2023-06-09 10:05

【ECCV2022】DaViT: Dual Attention Vision Transformers

DaViT:DualAttentionVisionTransformers,ECCV2022解读：【ECCV2022】DaViT:DualAttentionVisionTransformers-高峰OUC-博客园(cnblogs.com)DaViT：双注意力VisionTransformer-知乎(zhihu.com)DaViT:DualAttentionVisionTransformers-知乎
m0_61899108·2023-06-08 15:00

国产的ChatGPT你使用了没

接着，在Python环境中安装必要的依赖库，如transformers、torch等。在安装完成后，我们可以使用Chitgpt进行
134322·2023-06-08 14:21

部署运行Vicuna(小羊驼)

下载官网下载链接百度网盘及天翼云盘下载下载结果展示将LLaMA及vicuna-7b-delta-v1.1上传到CPU服务器上安装bypy获取授权码下载命令正式部署安装fschat及huggingface/transformers
想看一次满天星·2023-06-08 11:49

鹅厂专家讲透AI文本生成解码策略与代码实现

腾小云导读本文以huggingface-transformers的文本生成解码代码为例，对文本生成常用的五种解码策略greedysearch、beamsearch、sample、sampleandrank
腾讯云开发者·2023-06-08 11:51

transformers 的使用

一.配置环境在抱抱脸网址上发布了很多已经训练好的模型，基本上大量的NLP模型都在，一开始是发布transformers的开源库，但后来连接了开发者和使用者。
咸鱼布衣·2023-06-08 03:59

解码器 | 基于 Transformers 的编码器-解码器模型

基于transformer的编码器-解码器模型是表征学习和模型架构这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由SebastionRuder撰写的这篇精彩博文。此外，建议读者对自注意力(self-attention)架构有一个基本了解，可以阅读JayAlammar的这篇博文复习一下原始transformer模型。本文分4个部分:背景-简要回顾
·2023-06-07 10:16

解码器 | 基于 Transformers 的编码器-解码器模型

基于transformer的编码器-解码器模型是_表征学习_和_模型架构_这两个领域多年研究成果的结晶。本文简要介绍了神经编码器-解码器模型的历史，更多背景知识，建议读者阅读由SebastionRuder撰写的这篇精彩[博文](https://ruder.io/a-review-
HuggingFace·2023-06-07 00:00

浅谈图像生成模型 Diffusion Model 原理

重磅推荐专栏：《Transformers自然语言处理系列教程》手把手带你深入实践Transformers，轻松构建属于自己的NLP智能应用！
小爷毛毛（卓寿杰）·2023-04-21 13:49
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他