RoBerta

如何用RoBERTa高效提取事件文本结构特征：多层次上下文建模与特征融合

基于RoBERTa-BASE的特征提取器，提取事件文本数据的结构特征（如段落和篇章结构）涉及多个步骤。RoBERTa作为一种预训练语言模型，可以很好地捕捉输入文本的上下文和依赖关系。

大多_C·2024-09-09 15:05

【深度学习 transformer】使用pytorch 训练transformer 模型,hugginface 来啦

它由几个关键组件组成：Transformers：这是一个基于PyTorch的库，提供了各种预训练的NLP模型，如BERT、GPT、RoBERTa、DistilBERT等。

东华果汁哥·2024-09-04 06:39

使用LORA微调RoBERTa

RoBERTa（RobustlyoptimizedBERTapproach）是由FacebookAI提出的一种基于Transformer架构的预训练语言模型。

deephub·2024-02-14 08:15

使用LORA微调RoBERTa

RoBERTa（RobustlyoptimizedBERTapproach）是由FacebookAI提出的一种基于Transformer架构的预训练语言模型。

·2024-02-13 12:15

使用PaddleNLP识别垃圾邮件：用RoBERTa做中文邮件标题分类，模型在测试集上准确率达到98.3%以上（附公开数据集）

使用PaddleNLP识别垃圾邮件：用RoBERTa做中文邮件标题分类，模型在测试集上准确率达到98.3%以上（附公开数据集）。

代码讲故事·2024-02-06 12:01

Sentence-BERT: 一种能快速计算句子相似度的孪生网络

一、背景介绍BERT和RoBERTa在文本语义相似度等句子对的回归任务上，已经达到了SOTA的结果。

javastart·2024-02-02 00:03

预训练语言模型transformer

更充分地训练模型，例如RoBERTa，增大batch_size和ep

Icevivina·2024-01-28 11:48

Arxiv网络科学论文摘要16篇(2020-10-23)

网络中随机游走的大偏差揭示了广义最优路径和权重分布;图的半监督分类中节点属性和邻近度的联合使用;状态图核的密度;使用RoBERTa检测COVID-19信息性推文;评估社会网络结构对冠状病毒疾病（COVID

ComplexLY·2024-01-28 06:07

【文本到上下文 #9】NLP中的BERT和迁移学习

我们将探讨这些变体，例如RoBERTa、DistilBERT、ALBERT和MobileBERT，重点介绍它们的独特功能和应用。迁移学习在NLP中的作用

无水先生·2024-01-27 14:40

0-自然语言处理基础知识

1transformers1.1什么是transformerstransformers是由HuggingFace团队开发的一个非常流行的开源库，它为自然语言处理（NLP）提供了大量预训练的模型，如BERT、GPT、T5、RoBERTa

赵孝正·2024-01-07 06:13

RoBERTa - 论文解读

image.png论文地址：https://arxiv.org/pdf/1907.11692.pdf论文标题：RoBERTa:ARobustlyOptimizedBERTPretrainingApproach

涓涓自然卷·2024-01-07 01:24

RoBERTa 和 ALBERT

因此2019年就有很多工作是围绕着BERT展开的，其中出现了两个BERT的改进版模型，RoBERTa和ALBERT。

NLP与人工智能·2024-01-03 20:12

在灾难推文分析场景上比较用 LoRA 微调 Roberta、Llama 2 和 Mistral 的过程及表现

本文主要比较3个模型:RoBERTa、Mistral-7B及Llama-2-7B。我们用它们来解决一个常见问题——对灾难相关的推文进行分类。

Hugging Face·2023-12-23 19:14

龙芯loongarch64服务器编译安装tokenizers

这个库提供了各种各样的预训练分词器，如BPE、Byte-PairEncoding(Byte-LevelBPE)、WordPiece等，这些都是现代NLP模型（如BERT、GPT-2、RoBERTa等）广泛使用的分词方法

番茄小能手·2023-12-21 07:09

《卡片笔记写做法》必要难度理论摘录

读书写作羊十五·2023-12-21 00:51

大型语言模型：RoBERTa — 一种稳健优化的 BERT 方法

幸运的是，他们成功了，并提出了一种名为RoBERTa的新模型-鲁棒优化的BERT方法。在本文中，我们将参考官方RoBERTa论

无水先生·2023-12-20 16:39

使用Pytorch从零开始构建LoRA

这包括BERT和RoBERTa等掩码语言模型，以及GPT、Llama和Mistral等因果（或聊天机器人）模型。LoRA的主要优点之一在于其效率。通过使用更少的参数，LoRA显着降

Garry1248·2023-12-17 07:47

大模型微调技巧：在 Embeeding 上加入噪音提高指令微调效果

NoisyTune方法在BERT、XLNET、RoBERTa和ELECTRA上均取得不错的效果。那么通过加入噪音的方式，对现在大型语言模型是否有效呢？

深度学习算法与自然语言处理·2023-12-17 02:04

【心理学与AI】Optimal sequencing during category learning: Testing a dual-learning systems perspective

类别学习中的最佳排序:测试双学习系统的观点SharonM.Noha*，VeronicaX.Yan,Roberta.Bjorkb,W.ToddMaddoxa，2016.摘要作者检验了一个基于双重学习系统框架的假设

YuikoAo·2023-12-03 04:15

【nlp】4.3 nlp中常用的预训练模型（BERT及其变体）

nlp中常用的预训练模型1当下NLP中流行的预训练模型¶1.1BERT及其变体1.2GPT1.3GPT-2及其变体1.4Transformer-XL1.5XLNet及其变体1.6XLM1.7RoBERTa

lys_828·2023-11-27 14:15

Transformers库总体介绍

以下是transformers库提供的主要功能：1.预训练模型：该库包含多种预训练模型，如BERT、GPT（生成式预训练变换器）、RoBERTa、T5等。

taoli-qiao·2023-11-22 10:21

Transformers的RoBERTa model怎么使用word level的tokenizer

2022年8月25日更新：昨天改了tokenizer之后以为好了，结果发现还是有问题。具体来说，用后面方法训练的tokenizer，并不能被正确加载为RobertaTokenizerFast，会导致只对输入序列中的逗号进行编码。解决方法是：用类似于tokenizer.save(model_dir+'/wordlevel.json')这种形式将tokenizer保存成一个json文件，然后用Robe

蛐蛐蛐·2023-11-12 04:25

深度学习——Bert全家桶区别

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Bert1.Pretrain二、SpanBert1.Pretrain改进三、RoBERTa1.Pretrain改进四、ALBERT1

Jackson Le·2023-10-29 18:07

论文阅读——RoBERTa A Robustly Optimized BERT Pretraining Approach

RoBERTaARobustlyOptimizedBERTPretrainingApproachAbstractDevlin等人在BERTPre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding提出的BERT预训练研究虽然已达到最优结果，但训练成本比较高，很难彻底得到训练训练的时候通常是在不同大小的私有数据集上进行训练的

Trigger_2017·2023-10-29 18:03

[PED09]Deep one-class classification

论文名：Deeponeclassclassification作者：LukasRuff*1RobertA.Vandermeulen*2NicoGornitz¨3发表刊物：ICML发表时间：2018相关概念

张小甜甜·2023-10-29 01:39

论文阅读——RoBERTa

使用复制研究的方法对BERT预训练的超参数和数据集的影响细致研究，发现BERT训练不够，提出训练BERT的方法RoBERTa。

じんじん·2023-10-28 09:23

Gpt,gpt2,gpt3,bert,roberta,t5模型区别分析

GPT3:超大规模只有encoder：Bert：同时使用上下文进行编码Roberta：相比bert主要是在训练参数上做了调整：batchsize，adam参数，训练数据、nsploss、epoch数，词表大小

不当菜鸡的程序媛·2023-10-27 17:38

BERT 模型蒸馏 Distillation BERT

BERT在很多NLP任务上都取得不错的效果，但是其模型体积与计算量都很大，而且现在出现了更多越来越大的模型，例如roBERTa和GPT2。

NLP与人工智能·2023-10-23 11:24

BERT变体（1）：ALBERT、RoBERTa、ELECTRA、SpanBERT

Author:龙箬ComputerApplicationTechnologyChangetheWorldwithDataandArtificialIntelligence!CSDN@weixin_43975035天下之大，虽离家万里，何处不可往！何事不可为！1.ALBERT\qquadALBERT的英文全称为ALiteversionofBERT，意思是BERT模型的精简版。ALBERT模型对BER

龙箬·2023-10-20 13:19

发现一篇专门吐槽 NLP 内卷现状的 ACL 论文 ...

文|Severus编|小轶随着大模型的发展，NLP领域的榜单可说是内卷到了无以复加，现在去浏览各大公开榜单，以至于各个比赛，随处可见BERT、RoBERTa的身影，甚至榜单中见到各大large模型的集成版也并非偶然

夕小瑶·2023-10-18 13:03

BERT系列经典文章阅读

Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding笔记：论文笔记–BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding[2]RoBERT原文：RoBERTa

Isawany·2023-10-15 06:52

语言模型ELECTRA TinyBERT MINILM T5 ERNIE XLNet ALBERT RoBERTa DistilBERT SpanBERT BERT

文章目录语言模型ELECTRA:Pre-trainingTextEncodersasDiscriminatorsRatherThanGenerators,KevinClark,etal.,ICLR,2020.TinyBERT:DistillingBERTforNaturalLanguageUnderstanding,XiaoqiJiao,etal.,ICLR,2020.MINILM:DeepSel

2020小小酥·2023-10-11 06:55

Roberta: Bert调优

最近要开始使用Transformer去做一些事情了，特地把与此相关的知识点记录下来，构建相关的、完整的知识结构体系。以下是要写的文章，文章大部分都发布在公众号【雨石记】上，欢迎关注公众号获取最新文章。Transformer:Attention集大成者GPT-1&2:预训练+微调带来的奇迹Bert:双向预训练+微调Bert与模型压缩Bert与模型蒸馏：PKD和DistillBertALBert:轻量

张雨石·2023-10-10 19:40

论文笔记 | RoBERTa: A Robustly Optimized BERT Pretraining Approach

abs/1907.11692代码地址：https://github.com/pytorch/fairseq文章目录背景介绍实验环境训练过程静态vs动态masking模型输入格式和NSP大批量训练文本编码RoBERTa

期待成功·2023-10-10 19:09

Raki的读paper小记：DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION

Abstract&Introduction&RelatedWork研究任务预训练语言模型已有方法和相关工作BERT,RoBERTa面临挑战创新思路disentangledattentionmechanism

爱睡觉的Raki·2023-10-10 19:36

论文阅读（11）RoBERTa: A Robustly Optimized BERT Pretraining Approach（2019）

RoBERTa:ARobustlyOptimizedBERTPretrainingApproach(一种鲁棒优化的BERT预训练方法)细读，半天Motivationhypeparameterchoices

Douzi1024·2023-10-10 19:05

大型语言模型：RoBERTa — 一种鲁棒优化的 BERT 方法

一、介绍BERT模型的出现导致了NLP的重大进展。BERT的架构源自Transformer，在各种下游任务上实现了最先进的结果：语言建模，下一句预测，问答，NER标记等。大型语言模型：BERT—来自变压器的双向编码器表示了解BERT如何构建最先进的嵌入towardsdatascience.com尽管BERT具有出色的性能，但研究人员仍在继续试验其配置，以期获得更好的指标。幸运的是，他们成功地提出了

无水先生·2023-10-10 19:04

NLP-预训练模型-2019-NLU：XLNet【在Transformer-XL的基础上：①“排列组合LM”取代Bert中的“掩码LM”解决其弊端；②使用“双流注意力机制”解决位置信息】

NLP领域，预训练模型往往是语言模型，因为语言模型的训练是无监督的，可以获得大规模语料，同时语言模型又是许多典型NLP任务的基础，如机器翻译，文本生成，阅读理解等，常见的预训练模型有BERT,GPT,roBERTa

u013250861·2023-10-09 12:24

XLM-RoBERTa: 一种多语言预训练模型

Recommender：云不见作者：BrandenChan原文链接：https://medium.com/deepset-ai/xlm-roberta-the-multilingual-alte

zenRRan·2023-10-09 12:19

[论文笔记]GLM

有很多不同类型的预训练架构，包括自编码模型(BERT、RoBERTa、ALBERT)、自回归模型(GPT系列)以及编码器-解码器模型(T5、MASS、BART、PALM)。然而，没有任何预训练框架

愤怒的可乐·2023-10-02 16:00

SentenceTransformer 之论文解读

Sentence-BERT:SentenceEmbeddingsusingSiameseBERT-Networks链接：https://arxiv.org/pdf/1908.10084.pdf尽管Bert和RoBERTa

xiao4816·2023-10-02 13:37

[论文笔记]MacBERT

本篇主要是探讨中文预训练语言模型在非英文语言中的有效性，然后提出了一种简单而有效的模型，称为MacBERT，它在多个方面改进了RoBERTa，特别是采用纠错型掩码语言模型(MLMascorrection

愤怒的可乐·2023-09-30 10:15

ELECTRA：比 BERT 更好的生成判别模型

ELECTRA比BERT和RoBERTa效果更好，并且只用了Ro

NLP与人工智能·2023-09-23 20:36

使用RoBERT进行fine tune来复现GLUE的效果

ProprocessGLUEtaskdata2.1下载GLUE的数据集2.2预处理GLUE的数据集2.2.1算法思路与整体代码以及运行结果图2.2.2完整代码与处理结果三.使用预处理好的数据集进行finetune3.1将RoBERTa

phac123·2023-09-12 10:35

[预训练语言模型专题] RoBERTa: 捍卫BERT的尊严

本文为预训练语言模型专题的第15篇。快速传送门1-4:[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart]13-14：[跨语种模型]、[XLNet]感谢清华大学自然语言处理实验室对预训练

yang191919·2023-09-11 03:39

谷歌证实大模型能顿悟，特殊方法能让模型快速泛化，或将打破大模型黑箱

在人工智能研究中，这种现象被称为「顿悟」，这是美国作家RobertA.Heinlein

PaperWeekly·2023-09-10 13:21

ChatGLM-6B微调记录

autoencoding（语言理解，比如BERT、ALBERT、RoBERTa、DeBERTa），encoder-decoder（有条件生成

tzc_fly·2023-08-24 08:31

NLP | 基于LLMs的文本分类任务

比赛链接：讯飞开放平台来源：DataWhaleAI夏令营3（NLP）Roberta-base（BERT的改进）①Roberta在预训练的阶段中没有对下一句话进行预测（NSP）②采用了动态掩码③使用字符级和词级别表征的混合文本编码

秋田刀鱼·2023-08-23 07:36

多模态之情感预测涉及 BERT， RoBERTa， XLNet， XLM， DistilBERT 架构

情感预测之Fastai结合HuggingFaceTransformers（一）NLP中的迁移学习1.NLP2.迁移学习（二）将tramsformers与fastai集成以实现多类分类1.库安装2.示例任务3.主要变压器类4.其他功能5.数据预处理5.1自定义分词器5.2自定义取数器5.3定制处理器6.设置数据组6.1定制模型7.自定义优化器/自定义指标8.判别性微调和渐进式解冻（可选）9.训练10

便签棒糖·2023-08-22 05:17

BERT、ERNIE、Grover、XLNet、GPT、MASS、UniLM、ELECTRA、RoBERTa、T5、C4

BERT、ERNIE、Grover、XLNet、GPT、MASS、UniLM、ELECTRA、RoBERTa、T5、C4ELMOBERTERNIE!

码manba·2023-08-18 20:04

推荐频道

RoBerta

如何用RoBERTa高效提取事件文本结构特征：多层次上下文建模与特征融合

【深度学习 transformer】使用pytorch 训练transformer 模型,hugginface 来啦

使用LORA微调RoBERTa

使用LORA微调RoBERTa

使用PaddleNLP识别垃圾邮件：用RoBERTa做中文邮件标题分类，模型在测试集上准确率达到98.3%以上（附公开数据集）

Sentence-BERT: 一种能快速计算句子相似度的孪生网络

预训练语言模型transformer

Arxiv网络科学论文摘要16篇(2020-10-23)

【文本到上下文 #9】NLP中的BERT和迁移学习

0-自然语言处理基础知识

RoBERTa - 论文解读

RoBERTa 和 ALBERT

在灾难推文分析场景上比较用 LoRA 微调 Roberta、Llama 2 和 Mistral 的过程及表现

龙芯loongarch64服务器编译安装tokenizers

《卡片笔记写做法》必要难度理论摘录

大型语言模型：RoBERTa — 一种稳健优化的 BERT 方法

使用Pytorch从零开始构建LoRA

大模型微调技巧：在 Embeeding 上加入噪音提高指令微调效果

【心理学与AI】Optimal sequencing during category learning: Testing a dual-learning systems perspective

【nlp】4.3 nlp中常用的预训练模型（BERT及其变体）

Transformers库总体介绍

Transformers的RoBERTa model怎么使用word level的tokenizer

深度学习——Bert全家桶区别

论文阅读——RoBERTa A Robustly Optimized BERT Pretraining Approach

[PED09]Deep one-class classification

论文阅读——RoBERTa

Gpt,gpt2,gpt3,bert,roberta,t5模型区别分析

BERT 模型蒸馏 Distillation BERT

BERT变体（1）：ALBERT、RoBERTa、ELECTRA、SpanBERT

发现一篇专门吐槽 NLP 内卷现状的 ACL 论文 ...

BERT系列经典文章阅读

语言模型ELECTRA TinyBERT MINILM T5 ERNIE XLNet ALBERT RoBERTa DistilBERT SpanBERT BERT

Roberta: Bert调优

论文笔记 | RoBERTa: A Robustly Optimized BERT Pretraining Approach

Raki的读paper小记：DEBERTA: DECODING-ENHANCED BERT WITH DISENTANGLED ATTENTION

论文阅读（11）RoBERTa: A Robustly Optimized BERT Pretraining Approach（2019）

大型语言模型：RoBERTa — 一种鲁棒优化的 BERT 方法

NLP-预训练模型-2019-NLU：XLNet【 在Transformer-XL的基础上：①“排列组合LM”取代Bert中的“掩码LM”解决其弊端；②使用“双流注意力机制”解决位置信息】

XLM-RoBERTa: 一种多语言预训练模型

[论文笔记]GLM

SentenceTransformer 之论文解读

[论文笔记]MacBERT

ELECTRA：比 BERT 更好的生成判别模型

使用RoBERT进行fine tune来复现GLUE的效果

[预训练语言模型专题] RoBERTa: 捍卫BERT的尊严

谷歌证实大模型能顿悟，特殊方法能让模型快速泛化，或将打破大模型黑箱

ChatGLM-6B微调记录

NLP | 基于LLMs的文本分类任务

多模态之情感预测 涉及 BERT， RoBERTa， XLNet， XLM， DistilBERT 架构

BERT、ERNIE、Grover、XLNet、GPT、MASS、UniLM、ELECTRA、RoBERTa、T5、C4

NLP-预训练模型-2019-NLU：XLNet【在Transformer-XL的基础上：①“排列组合LM”取代Bert中的“掩码LM”解决其弊端；②使用“双流注意力机制”解决位置信息】

多模态之情感预测涉及 BERT， RoBERTa， XLNet， XLM， DistilBERT 架构