TRANSFORMERS

FastEdit ⚡：在10秒内编辑大型语言模型

BLOOM(7.1B)○Falcon(7B)○Baichuan(7B/13B)○InternLM(7B)实现的算法：○一阶模型编辑(ROME)要求：○Python3.8+和PyTorch1.13.1+○Transformers
无数据不智能·2023-07-20 03:14

sentence_transformers加载使用预训练bert模型；向量KMeans聚类

sentence_transformers使用参考：https://www.sbert.net/docs/quickstart.htmlsentence_transformers基于transformers
loong_XL·2023-07-20 02:34

SentenceTransformers 库介绍

该框架基于PyTorch和Transformers，并提供了大量针对各种任务的预训练模型。还可以很容易根据自己的模型进行微调。
qq_27390023·2023-07-20 02:32

ImportError: cannot import name ‘FLAX_WEIGHTS_NAME‘ from ‘transformers.utils‘ (/root/miniconda3/envs

transformers版本原因，升级到4.28就不会报错了pipinstalltransformers==4.28.1
walterkd·2023-07-18 17:47

Huggingface transformers 镜像使用，本地使用，tokenizer参数介绍

目录from_pretrained()参数清华源还支持huggingfacehub自动下载使用方法Robertapretraintokenizer关于填充（padding）和截断（truncation）的所有信息对于预训练好的模型参数，我们需要从网上下下来。from_pretrained()站在巨人的肩膀上，我们得多用用from_pretrained()这个函数。参数1.pretrained_mo
无脑敲代码，bug漫天飞·2023-07-17 13:07

国内HuggingFace，预训练模型镜像使用

使用方法注意：transformers>3.1.0的版本支持下面的mirror选项。只需在f
javastart·2023-07-17 13:35

论文笔记--BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

论文笔记--BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding1.文章简介2.文章导读2.1概括2.2文章重点技术2.2.1基于Transformer的模型架构2.2.2MaskedLanguageModel(MLM)2.2.3NextSentencePrediction(NSP)3.文章亮点4.原文传送
Isawany·2023-07-16 18:26

BERT系列算法解读（RoBERTa/ALBERT/DistilBERT/Transformer/Hugging Face/NLP/预训练模型）更新中

BERT（BidirectionalEncoderRepresentationsfromTransformers，基于Transformers的双向编码器表示）系列算法在自然语言处理任务中是必不可少的经典模型
会害羞的杨卓越·2023-07-16 12:50

论文阅读：CompletionFormer: Depth Completion with Convolutions andVision Transformers

论文阅读：CompletionFormer:DepthCompletionwithConvolutionsandVisionTransformers来源cvpr2023链接：TheKITTIVisionBenchmarkSuite深度补全有code中的第一0、摘要在给定稀疏深度和相应的RGB图像的情况下，深度补全的目的是将稀疏测量值在空间上传播到整个图像中，得到密集的深度预测。尽管基于深度学习的深
shiyueyueya·2023-07-16 07:04

99%的算法工程师都不知道！Tensorflow中Cudnn加速LSTM的正确打开方式

即使目前Transformers几乎统一了天下，但在序列数据上仍然有一定的用武之地。
tylunas·2023-07-16 06:13

基于Transformers的自然语言处理入门【四】-GPT

基于Transformers的自然语言处理入门【四】-GPT1GPT模型2语言模型3基于Transformer的语言模型4GPT2详解1GPT模型OpenAI提出的GPT-2模型(https://openai.com
hezzfew·2023-07-15 21:03

使用HuggingFace进行情感分类

1.安装transformers!
岁月标记·2023-07-15 06:48

BERT 论文精读与理解

BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding2.论文摘要本文引入了一种名为BERT的新语言表示模型，它代表Transformers
岁月标记·2023-07-15 00:59

详解python架构 PyNeuraLogic超越Transformers

目录引言1.简介2.SymbolicTransformers3.Attention机制4.AttentionMasking5.非标准Attention6.Encoder总结引言展示神经符号编程的力量1.简介在过去的几年里，我们看到了基于Transformer的模型的兴起，并在自然语言处理或计算机视觉等许多领域取得了成功的应用。在本文中，我们将探索一种简洁、可解释和可扩展的方式来表达深度学习模型，特
·2023-07-14 11:19

Dynamic MDETR: A Dynamic Multimodal Transformer Decoder for Visual Grounding 论文阅读笔记

ADynamicMultimodalTransformerDecoderforVisualGrounding论文阅读笔记一、Abstract二、引言三、相关工作3.1视觉定位3.2多模态Transformer3.3有效的Transformers
乄洛尘·2023-07-14 03:39

第50步 深度学习图像识别：Data-efficient Image Transformers建模（Pytorch）

基于WIN10的64位系统演示一、写在前面（1）Data-efficientImageTransformersData-efficientImageTransformers(DeiT)是一种用于图像分类的新型模型，由FacebookAI在2020年底提出。这种方法基于视觉Transformer，通过训练策略的改进，使得模型能在少量数据下达到更高的性能。在许多情况下，Transformer模型需要大
Jet4505·2023-07-13 20:38

CharGPT如何使用

使用HuggingFace的transformers库：transformers是一个开源库，它提供了许多主流语言模型的预训练权重和代码，可以方便地
耄先森吖·2023-06-24 09:02

bert中文文本摘要代码（3）

bert中文文本摘要代码写在最前面关于BERT使用transformers库进行微调train.py自定义参数迭代训练验证评估更新损失绘图主函数test.pytop_k或top_p采样sample_generate
是Yu欸·2023-06-24 00:33

bert中文文本摘要代码（1）

bert中文文本摘要代码写在最前面关于BERT使用transformers库进行微调load_data.py自定义参数collate_fn函数BertDataset类主函数tokenizer.py创建词汇表
是Yu欸·2023-06-24 00:03

bert中文文本摘要代码（2）

bert中文文本摘要代码写在最前面关于BERT使用transformers库进行微调model.py自定义参数激活函数geluswish定义激活函数字典BertConfig类参数配置vocab_size_or_config_json_filefrom_dict
是Yu欸·2023-06-24 00:03

LLaMA模型文件 (搬运工)

huggingface上，第三方上传的一些LLaMA模型文件：LLaMA-7BLLaMA-13BLLaMA-7B-hfLLaMA-13B-hf这里要注意，原始的LLaMA权重文件，是不能直接调用huggingface的transformers
Reza.·2023-06-24 00:26

运行结果展示 |（DPT）Vision Transformers for Dense Prediction

代码地址：isl-org/DPT:DensePredictionTransformers(github.com)这篇文章的环境非常好配，几乎没有报什么error，按照readme里给的步骤一两步就搞定了。SetupDownloadthemodelweightsandplacethemintheweightsfolderSetupdependencies:pipinstall-rrequiremen
QiuDi666·2023-06-23 23:07

论文解读：End-to-End Object Detection with Transformers

发表时间：2020论文地址：https://arxiv.org/pdf/2005.12872.pdf项目地址：https://github.com/facebookresearch/detr提出了一种将对象检测视为集合预测问题的新方法。我们的方法简化了检测流程，有效地消除了许多手工设计的组件的需要，如非最大抑制程序或锚框生成，显式地编码了对任务的先验知识。新框架被称为检测transformer或D
万里鹏程转瞬至·2023-06-23 22:39

【adapter-transformers】：Installation & QuickStart（一、安装与快速启动）

【要求】：adapter-transformers是Huggingface的transformers库的直接替代品。它目前支持Python3.8+和PyTorch1.12.1+。
ReadyGo!!!·2023-06-23 20:32

RIS 系列：TransVG: End-to-End Visual Grounding with Transformers 论文阅读笔记

RIS系列：TransVG:End-to-EndVisualGroundingwithTransformers论文阅读笔记一、Abstract二、引言三、相关工作3.1视觉定位两阶段方法单阶段方法3.2Transformer视觉任务中的Transformer视觉-语言任务中的Transformer四、视觉定位中的Transformer4.1基础知识4.2TransVG的结构视觉分支语言分支视觉-语
乄洛尘·2023-06-23 19:23

项目调研丨多区块并行处理公链 Transformers 研究报告

目录一、项目简介二、项目愿景三、特色和优势（1）速度（2）安全（3）可扩展性（4）高度定制（5）不可篡改（6）所有数据公开透明（7）支持智能合约四、发展历史五、团队背景六、融资信息七、项目架构（1）网络（2）共识算法（3）DAG（4）同步化（5）交易（6）节点运行要求八、发展成果（1）项目进展（2）基础数据九、经济模型（1）代币经济（2）代币权益（3）激励机制十、行业分析十一、风险与机会十二、合作
iNFTnews·2023-06-23 17:23

深入理解深度学习——BERT（Bidirectional Encoder Representations from Transformers）：BERT的结构

分类目录：《深入理解深度学习》总目录BERT是由堆叠的TransformerEncoder层组成核心网络，辅以词编码和位置编码而成的。BERT的网络形态与GPT非常相似。简化版本的ELMo、GPT和BERT的网络结构如下图所示。图中的“Trm”表示TransformerBlock，即基于Transformer的特征提取器。ELMo使用自左向右编码和自右向左编码的两个LSTM网络，分别以P(wi∣w
von Neumann·2023-06-23 14:01

map集合转对象，map字段有横线，对象转map

this.getEntityManager().createNativeQuery(sql.toString());query.unwrap(NativeQueryImpl.class).setResultTransformer(Transformers.ALIAS_TO_ENTITY_MAP
漫不经心a·2023-06-22 22:29

文献阅读：Foundation Transformers

文献阅读：FoundationTransformers1.文章简介2.模型结构1.Sub-LN2.Initialization3.实验效果1.NLP任务1.语言模型上效果2.MLM模型上效果3.翻译模型上效果2.Vision任务上效果3.Speech任务上效果4.图文任务上效果4.结论&思考文献链接：https://arxiv.org/abs/2210.06423GitHub:https://gi
Espresso Macchiato·2023-06-22 07:48

pytorch: Transformers入门（三）

BERT的那些类1.BertConfig这是一个配置类，继承PretrainedConfig类，用于model的配置，构造函数参数如下：vocab_size(int,optional,defaultsto30522)：BERT模型的字典大小，默认30522，每个token可以由input_ids表示。hidden_size(int,optional,defaultsto768)：是encoder和
不太聪明的亚子·2023-06-22 02:55

LayerNorm 在 Transformers 中对注意力的作用研究

LayerNorm一直是Transformer架构的重要组成部分。如果问大多人为什么要LayerNorm，一般的回答是：使用LayerNorm来归一化前向传播的激活和反向传播的梯度。其实这只是部分正确：Brody、Alon和Yahav的一篇题为“OntheExpressivityRoleofLayerNorminTransformer'sAttention”的新论文表明，LayerNorm的作用要
·2023-06-20 10:53

LLM：预训练语言模型finetune下游任务

安装依赖LLM：Transformers库_-柚子皮-的博客-CSDN博客还要安装accelerate>=0.12.0datasets>=1.8.0sentencepiece!
-柚子皮-·2023-06-20 07:34

TrainingArguments 报错，降低transformers版本即可解决

fromtransformersimportTrainingArgumentstraining_args=TrainingArguments("test-trainer")TrainingArguments报错，报错信息如下ImportErrorTraceback(mostrecentcalllast)in()1fromtransformersimportTrainingArguments2---
jieshenai·2023-06-19 03:06

本地安装部署运行 ChatGLM-6B 的常见问题解答以及后续优化

报错Nomodulenamed‘transformers_modules.THUDM/chatglm-6b’报错本身的意思是，没有在指定的路径THUDM/chatglm-6b找到推理用模型一般常见于自己手动下载模型
柴神·2023-06-19 01:50

使用BERT进行文本分类

本范例我们微调transformers中的BERT来处理文本情感分类任务。我们的数据集是美团外卖的用户评论数据集。模型目标是把评论分成好评(标签为1)和差评(标签为0)。#安装库#!
算法美食屋·2023-06-18 19:17

使用Vision Transformers实现高效语义分割的内容感知共享Token

文章目录Content-awareTokenSharingforEfficientSemanticSegmentationwithVisionTransformers摘要本文方法Content-awaretokensharingframeworkContent-awaretokensharingpolicy实验结果Content-awareTokenSharingforEfficientSeman
小杨小杨1·2023-06-18 15:47

【BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 论文略读】

BERT：Pre-trainingofDeepBidirectionalTransformers...论文略读INFORMATIONAbstract1Introduction2RelatedWork2.1UnsupervisedFeature-basedApproaches2.2UnsupervisedFine-tuningApproaches2.3TransferLearningfromSupe
小白*进阶ing·2023-06-18 07:14

NLP——ELMO；BERT；Transformers

文章目录ELMOELMO简介ELMO优点利用了多层的hidden表示ELMO缺点BERTBERTV.S.ELMO两种预训练任务Object1:MaskedLanguageModelObject2:Nextsentenceprediction训练细节如何使用BERTBERT应用——垃圾邮件分类Transformerself-attentionMulti-headAttentionTransforme
暖仔会飞·2023-06-18 00:22

Hugging face 模型微调学习：T5-base的微调

Huggingface在github上开源了一个Transformers库，允许用户上传和下载的预训练的模型，并进行原有模型的基础上进行微调。
zz_Lambda·2023-06-17 01:35

Hugging Face 中计算机视觉的现状

开始只是Transformers中VisionTransformers(ViT)的一个PR，现在已经发展壮大:8个核心视觉任务，超过3000个模型，在HuggingFaceHub上有超过1000个数据集
·2023-06-16 22:08

想要更好地理解大模型架构？从计算参数量快速入手

该文章提供了精确的Transformers模型的参数量计算公式和不太准确的简略公式版本，使读者能够快速估算基于Transformer的任何模型中参数的数量。以下是译文，Enjoy
Baihai IDP·2023-06-16 13:06

bert结构模型的转换及[unusedxx]的不拆token

这里写自定义目录标题前沿torch格式转onnc方法1方法2保留[unused9]不分词transformers模块tensorflow模块前沿业界主流的模型结构包括tensorflow和pytorch
qq_42693848·2023-06-15 02:21

序列标注ner原理，CRF作用以及transformers ner使用

1.参考Pre-TrainingwithWholeWordMaskingforChineseBERT（中文BERT-wwm系列模型）https://github.com/ymcui/Chinese-BERT-wwmTransformers:State-of-the-artNaturalLanguageProcessingforTensorFlow2.0andPyTorch.https://gith
HxShine·2023-06-14 08:30

LLM：finetune预训练语言模型

RoBERTa/BERT/DistilBERTandmaskedlanguagemodeling[transformers/examples/pytorch/language-modelingatmain
-柚子皮-·2023-06-12 17:02

想要更好地理解大模型架构？从计算参数量快速入手

该文章提供了精确的Transformers模型的参数量计算公式和不太准确的简略公式版本，使读者能够快速估算基于Transformer的任何模型中参数的数量。以下是译文，Enjoy
·2023-06-12 10:36

机器学习-搭建轻量级GPT2训练对话

需要安装环境：python3.7、Transformers==4.2.0、pytorch==1.7.0、nginx（映射网页文件）我的系统：MACm2Mac默认是有一个Python在系统上，但是版本低，
渣渣洒泪成长记·2023-06-11 23:48

Elasticsearch：使用 Transformers 和 Elasticsearch 进行语义搜索

语义/矢量搜索是一种强大的技术，可以大大提高搜索结果的准确性和相关性。与传统的基于关键字的搜索方法不同，语义搜索使用单词的含义和上下文来理解查询背后的意图并提供更准确的结果。Elasticsearch是实现语义搜索最流行的工具之一，它是一种高度可扩展且功能强大的搜索引擎，可用于索引和搜索大量数据。在本文中，我们将探讨语义搜索的基础知识以及如何使用Elasticsearch实现它。到本文结束时，你将
Elastic 中国社区官方博客·2023-06-11 13:09

在Transformers 中使用约束波束搜索引导文本生成

引言本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识，具体可参见博文如何生成文本:通过Transformers用不同的解码方法生成文本。
·2023-06-11 12:36

MiniGPT-4 and LLaMA 权重下载

MiniGPT-4权重文件下载权重文件下载官方下载https://huggingface.co/docs/transformers/main/model_doc/llama填写表单，等待申请磁力下载磁力
星空liang·2023-06-11 12:20

在Transformers 中使用约束波束搜索引导文本生成

##**引言**本文假设读者已经熟悉文本生成领域波束搜索相关的背景知识，具体可参见博文[如何生成文本:通过Transformers用不同的解码方法生成文本](https://huggingface.co
HuggingFace·2023-06-11 11:00
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他