Roberta 第2页

XLM-RoBERTa: 一种多语言预训练模型

Recommender：云不见作者：BrandenChan原文链接：https://medium.com/deepset-ai/xlm-roberta-the-multilingual-alte

zenRRan·2023-10-09 12:19

[论文笔记]GLM

有很多不同类型的预训练架构，包括自编码模型(BERT、RoBERTa、ALBERT)、自回归模型(GPT系列)以及编码器-解码器模型(T5、MASS、BART、PALM)。然而，没有任何预训练框架

愤怒的可乐·2023-10-02 16:00

SentenceTransformer 之论文解读

Sentence-BERT:SentenceEmbeddingsusingSiameseBERT-Networks链接：https://arxiv.org/pdf/1908.10084.pdf尽管Bert和RoBERTa

xiao4816·2023-10-02 13:37

[论文笔记]MacBERT

本篇主要是探讨中文预训练语言模型在非英文语言中的有效性，然后提出了一种简单而有效的模型，称为MacBERT，它在多个方面改进了RoBERTa，特别是采用纠错型掩码语言模型(MLMascorrection

愤怒的可乐·2023-09-30 10:15

ELECTRA：比 BERT 更好的生成判别模型

ELECTRA比BERT和RoBERTa效果更好，并且只用了Ro

NLP与人工智能·2023-09-23 20:36

使用RoBERT进行fine tune来复现GLUE的效果

ProprocessGLUEtaskdata2.1下载GLUE的数据集2.2预处理GLUE的数据集2.2.1算法思路与整体代码以及运行结果图2.2.2完整代码与处理结果三.使用预处理好的数据集进行finetune3.1将RoBERTa

phac123·2023-09-12 10:35

[预训练语言模型专题] RoBERTa: 捍卫BERT的尊严

本文为预训练语言模型专题的第15篇。快速传送门1-4:[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart]13-14：[跨语种模型]、[XLNet]感谢清华大学自然语言处理实验室对预训练

yang191919·2023-09-11 03:39

谷歌证实大模型能顿悟，特殊方法能让模型快速泛化，或将打破大模型黑箱

在人工智能研究中，这种现象被称为「顿悟」，这是美国作家RobertA.Heinlein

PaperWeekly·2023-09-10 13:21

ChatGLM-6B微调记录

autoencoding（语言理解，比如BERT、ALBERT、RoBERTa、DeBERTa），encoder-decoder（有条件生成

tzc_fly·2023-08-24 08:31

NLP | 基于LLMs的文本分类任务

比赛链接：讯飞开放平台来源：DataWhaleAI夏令营3（NLP）Roberta-base（BERT的改进）①Roberta在预训练的阶段中没有对下一句话进行预测（NSP）②采用了动态掩码③使用字符级和词级别表征的混合文本编码

秋田刀鱼·2023-08-23 07:36

多模态之情感预测涉及 BERT， RoBERTa， XLNet， XLM， DistilBERT 架构

情感预测之Fastai结合HuggingFaceTransformers（一）NLP中的迁移学习1.NLP2.迁移学习（二）将tramsformers与fastai集成以实现多类分类1.库安装2.示例任务3.主要变压器类4.其他功能5.数据预处理5.1自定义分词器5.2自定义取数器5.3定制处理器6.设置数据组6.1定制模型7.自定义优化器/自定义指标8.判别性微调和渐进式解冻（可选）9.训练10

便签棒糖·2023-08-22 05:17

BERT、ERNIE、Grover、XLNet、GPT、MASS、UniLM、ELECTRA、RoBERTa、T5、C4

BERT、ERNIE、Grover、XLNet、GPT、MASS、UniLM、ELECTRA、RoBERTa、T5、C4ELMOBERTERNIE!

码manba·2023-08-18 20:04

读论文——Pre-Training with Whole Word Masking for Chinese BERT（2021 11.25）

第一遍标题以及作者（202111.25）摘要本文基于BERT，在RoBERTa上进行一系列改进，提出了用于中文的预训练模型MacBERT。

前行follow·2023-08-17 02:30

预训练模型发展史

目录：一、传统词向量预训练：NNLM、SENNA、Word2Vec二、上下文相关词向量：CoVe、ELMo三、NLP中的预训练模型：GPT、BERT、BERT改进(RoBERTa、XLNet、ALBERT

可爱多多多_·2023-08-16 06:13

KU Leuven & TU Berlin 推出“RobBERT”，一款荷兰索塔 BERT

来自比利时鲁汶大学和柏林工业大学的一组研究人员最近推出了基于荷兰RoBERTa的语言模型RobBERT。

大伟先生·2023-08-16 02:06

训练用于序列分类任务的 RoBERTa 模型的适配器

这些限制阻碍了RoBERTa模型开发更多用途和适应性更强的NLP技术，该模型可以从多个任务中学习并针对多个任务进行学习；在本文中，我们将重点关注序列分类任务。

TD程序员·2023-08-12 07:33

MATLAB算法实战应用案例精讲-【深度学习】预训练模型RoBERTa及ERINE系列

目录RoBERTa:ARobustlyOptimizedBERTPretrainingApproach1.DynamicMasking2.Full-SentenceswithoutNSP3.LargerBatchSize4

林聪木·2023-08-10 05:55

Hierarchical Graph Network for Multi-hop Question Answering

GraphConstructionModuleContextEncodingModuleGraphReasoningModuleMulti-taskPredictionModuleGraphConstruction找到最相关的段落训练了一个Roberta

一纸素笺凝笑语·2023-08-08 10:53

基于 chinese-roberta-wwm-ext 微调训练 6 分类情感分析模型

一、模型和数据集介绍1.1预训练模型chinese-roberta-wwm-ext是基于RoBERTa架构下开发，其中wwm代表WholeWordMasking，即对整个词进行掩码处理，通过这种方式，模型能够更好地理解上下文和语义关联

小毕超·2023-07-22 02:47

关于记忆，你需要知道的

认知科学家比约克夫妇（RobertA.Bjork&ElizabethLigonBjork）在近30年前的研究中提出了“必要难度”这一概来帮助我们解释这个情况。什么是“必要难度”呢？

皮小芸·2023-07-21 20:15

国内HuggingFace，预训练模型镜像使用

HuggingFaceTransformers是自然语言处理领域的重要开源项目，提供了基于通用架构（如BERT，GPT-2，RoBERTa）的数千个预训练模型，并提供了PyTorch和TensorFlow

javastart·2023-07-17 13:35

BERT系列算法解读（RoBERTa/ALBERT/DistilBERT/Transformer/Hugging Face/NLP/预训练模型）更新中

BERT（BidirectionalEncoderRepresentationsfromTransformers，基于Transformers的双向编码器表示）系列算法在自然语言处理任务中是必不可少的经典模型，当初第一代GPT模型发布的时候，坐了冷板凳，罪魁祸首就是BERT。有任何问题欢迎在下面留言本篇文章配套的PPT资源已经上传目录1、如何训练BERT1.1相关背景1.2方法1随机遮挡1.3方法

会害羞的杨卓越·2023-07-16 12:50

Ubuntu下载速度过慢解决

今天用Ubuntu下载Roberta文件到本地，速度特别慢，Ubuntu系统自带的源文件，都是国外的源网址，在国内下载安装升级源或者依赖的时候，都比较慢，更换国内的源地址，轻松搞定此问题。

Dr.sky_·2023-07-14 10:31

深入理解深度学习——BERT派生模型：RoBERTa（A Robustly Optimized BERT Pretraining Approach）

RoBERTa（模型名源自论文名ARobustlyOptimizedBERTPretrainingApproach）是脸书公司提出的在BERT基础上增加训练数据，充分训练得到的预训练语言模型。

von Neumann·2023-06-24 01:08

T5、RoBERTa、悟道·天鹰、紫东太初、CPM作者谈基础模型前沿技术丨大模型科研、创业避坑指南...

6月9日的北京智源大会“基础模型前沿技术”论坛邀请了T5、RoBERTa、悟道·天鹰、紫东太初、CPM等重要模型工作作者出席。

智源社区·2023-06-22 04:40

数据增强在文本分类任务中的应用

我主要采用两种对比方法，一种是Roberta+数据增强（随机替换、删除、插入、交换）；另一种是Roberta+数据增强（随机替换、删除、插入），然后经过对比使用，查看具体效果。

Dr.sky_·2023-06-19 18:28

浅谈数据增强

以下是一些常见的数据增强方法：目录一、数据增强的概念二、数据增强在Roberta对SST-2数据集的文本二分类任务的应用

Dr.sky_·2023-06-14 14:36

DEBERTA: DECODING-ENHANCED BERT WITH DIS- ENTANGLED ATTENTION glue榜首论文解读

一、概览二、详细内容abstracta.两个机制来improvebert和robertaⅰ.disentangledattentionmechanismⅱ.enhancedmaskdecoderb.fine-tuning

HxShine·2023-06-14 08:31

若灬秋《一生的旅途》读书笔记及感悟

关于本书作者简介罗伯特·艾格(RobertA."Bob"Iger)，1951年2月10日在美国纽约长岛出生，是一位美国商人。

若灬秋·2023-06-13 23:12

LLM：finetune预训练语言模型

RoBERTa/BERT/DistilBERTandmaskedlanguagemodeling[transformers/examples/pytorch/language-modelingatmain

-柚子皮-·2023-06-12 17:02

谁说学生模型就得小？稀疏化DAN模型推理可提速600倍

本文中，作者对RoBERTa-Large进行了模型蒸馏，得到了一个基于DAN架构的、具有十亿级参数、稀疏激活的学生模型。实验表明，该模型在六个文本分类任务上保持了教师模型97%的表现，同时在CPU和G

PaperWeekly·2023-06-11 23:23

NLP面试题准备

（2）其他的模型-ELMO和RoBERTa的原理是什么（3）LSTM有哪三个门，LSTM解决了RNN的什么问题？

jianafeng·2023-06-10 12:58

Hugging Face Model Hub 预训练模型清华镜像使用

今天遇到一个错误：OSError:Couldn’treachserverat‘https://s3.amazonaws.com/models.huggingface.co/bert/roberta-large-config.json

乐清sss·2023-04-14 15:39

Encoding.word_ids()

fromtransformersimportAutoTokenizerDOWNLOADED_MODEL_PATH='model'tokenizer=AutoTokenizer.from_pretrained('google/bigbird-roberta-base

SmartDemo·2023-04-13 14:10

通俗易懂：8大步骤图解注意力机制

BERT、RoBERTa、ALBERT、SpanBERT、DistilBERT、SesameBERT、SemBERT、MobileBERT、TinyBERT和CamemBERT的共同点是什么？

喜欢打酱油的老鸟·2023-04-06 13:31

ERNIE预训练模型

在bert的变体中，ROBERTA和ALBERT都更改或移除了NSP任务，他们认为

不会念经的木鱼仔·2023-04-03 10:29

预训练模型

实验细节二、ALBERT1、贡献1.1词向量分解1.2层参数共享1.3SOP任务三、ERNIE1、贡献2、实验细节2.1语料2.2MLM任务2.3DLM任务四、DistilBERT1、贡献2、实验细节五、RoBERTa1

hellozgy·2023-04-01 23:25

吊打 CLIP 平均10个点，Meta 多模态通用模型 FLAVA真香啊

然而，纯粹的NLP任务有BERT、RoBERTa，CV任务有ViT，多模态任务又有VLBERT、OSCAR

机器学习社区·2023-03-29 20:15

RoBERTa极简简介

RoBERTa模型是在BERT预训练模型的基础上改进了三点：一、采用动态Masking机制，每次向模型输入一个序列时，都会生成一种新的遮盖方式二、删除了NextSentencePrediction(NSP

ASS-ASH·2023-03-29 09:16

YhX.·2023-03-29 05:13

五条写作规则(写程序也一样)

Robert著名的美国科幻小说作家罗伯特·海因莱因（RobertA.Heinlein），给有志于写作的年轻人，传授过五条写作规则，帮助他们入门。我觉得这些规则，不仅适用于作家，也同样适用于程序员。

遇酒无缘·2023-03-25 22:47

预训练数据大小对于预训练模型的影响

YianZhang,AlexWarstadt，Haau-SingLi,andSamuelR.Bowman链接：https://arxiv.org/pdf/2011.04946.pdf引言： NLP领域的研究目前由像RoBERTa

zenRRan·2023-03-18 20:06

如何使用huggingface的trainer训练模型？

一个简单的模型使用实例如下：fromtransformersimportBertTokenizer,BertModeltokenizer=BertTokenizer.from_pretrained('uer/chinese_roberta_L

chadqiu·2023-02-04 13:52

RoBERTa：一种鲁棒地优化BERT预训练的方法

RoBERTa：一种鲁棒地优化BERT预训练的方法文章目录RoBERTa：一种鲁棒地优化BERT预训练的方法前言背景实验静态VS动态Masking输入形式与NSP任务更大的batch_size更大的BPE

beyourselfwb·2023-02-01 10:04

MacBERT 的改进（Revisiting Pre-Trained Models for Chinese Natural Language Processing）

MacBERT1.MacBERT简介2.论文的主要工作2.1预训练模型对比BERTERNIEXLNET3.MacBERT的结构3.1BERT-wwm&RoBERTa-wwm3.2MacBERT训练过程试验结果总结

无为二里·2023-01-31 18:52

I-BERT: Integer-only BERT Quantization（2021-1-5）

模型介绍基于Transformer的模型，例如BERT、RoBERTa，在许多的自然语言处理任务中获得最优的结果。由于内存使用、推断延迟、能源损耗，以至于无法有效率的在边缘甚至数据中心进行推断。

不负韶华ღ·2023-01-31 01:06

HuggingFace BERT源码详解：基本模型组件实现

PaperWeekly·2023-01-30 21:55

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks解读

摘要使用bert和roberta来计算句子相似度太耗时，本文作者提出sentence-bert，使用孪生或三生网络对bertpretrain进行修整，在sentenceembeddingsmethods

qq_33221657·2023-01-29 14:47

【文献翻译】Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

Sentence-BERT：使用SiameseBERT网络的句子嵌入【摘要】虽然BERT和RoBERTa在语义文本相似性(STS)句对回归任务上取得了最新的性能，但是它需要将两个句子都输入网络，这会导致巨大的计算开销

春日思绪·2023-01-29 14:13

《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》论文阅读

文章地址：https://arxiv.org/abs/1908.10084文章目录文章内容文章模型文章总结文章内容 BERT和RoBERTa在一些任务中已经取得了不错的结果，但是在处理句子对相关的任务时

jst100·2023-01-29 14:13

推荐频道

Roberta