Roberta

BERT衍生模型

对预训练模型写的比较全的一篇文章别人整理的比较全的综述:NLP预训练模型1–综述NLP预训练模型2–BERT详解和源码分析NLP预训练模型3–预训练任务优化（ERNIE、SpanBERT）NLP预训练模型4–训练方法优化（RoBERTa
zhurui_xiaozhuzaizai·2023-01-23 13:47

【深度学习】干货！小显存如何训练大模型

之前Kaggle有一个Jigsaw多语言毒舌评论分类[1]比赛，当时我只有一张11G显存的1080Ti，根本没法训练SOTA的Roberta-XLM-large模型，只能遗憾躺平。
风度78·2023-01-18 00:25

NLP-预训练模型：迁移学习（拿已经训练好的模型来使用）【预训练模型：BERT、GPT、Transformer-XL、XLNet、RoBerta、XLM、T5】、微调、微调脚本、【GLUE数据集】

深度学习-自然语言处理：迁移学习（拿已经训练好的模型来使用）【GLUE数据集、预训练模型（BERT、GPT、transformer-XL、XLNet、T5）、微调、微调脚本】一、迁移学习概述二、NLP中的标准数据集1、GLUE数据集合的下载方式2、GLUE子数据集的样式及其任务类型2.1CoLA数据集【判断句子语法是否正确】2.2SST-2数据集【情感分类】2.3MRPC数据集【判断每对句子是否具
u013250861·2023-01-17 18:33

【论文笔记】MacBert：Revisiting Pre-trained Models for Chinese Natural Language Processing

Abstract）1.介绍（Introduction）2.相关工作（RelatedWork）3.中文预训练模型（ChinesePre-trainedLanguageModels）3.1BERT-wwm&RoBERTa-wwm3.2MacBERT4
iioSnail·2023-01-17 10:25

历史最全最新中文自然语言处理预训练模型汇总分享-内含免费下载地

包含自然语言理解系列模型，如BERT、RoBERTa、ALBERT、NEZHA、XLNET、MacBERT、ELECTRA、ZEN、ERNIE。
lqfarmer·2023-01-16 11:09

Sentence-BERT 论文阅读

BERT、RoBERTa已经在文本语义相似度任务（semantictextualsimilarity，STS）上达到了sota。
_illusion_·2023-01-16 08:52

sentence-transformers(SBert)中文文本相似度预测(附代码)

前言训练文本相似度数据集并进行评估：sentence-transformers(SBert)预训练模型：chinese-roberta-wwm-ext数据集：蚂蚁金融文本相似度数据集前端：Vue2+elementui
我先润了·2023-01-16 08:10

bert4keras预训练的一些问题总结

1.近日在使用bert4keras，在原有的Roberta训练领域内的roberta的时候遇到了一些问题，在此记录一下，便于日后的翻阅。
光头小黑·2023-01-14 08:03

Roberta-wwm-ext-large模型中的wwm理解

Roberta：Robustoptimizebertapproach（名字来自于一篇论文题目的缩写）wwm：wholewordmasking的缩写；经典的bert作mask是随机的，且是基于WordPiecetoken
Takoony·2023-01-13 17:30

广告行业中那些趣事系列18：RoBERTa-wwm-ext模型为啥能带来线上效果提升？

本篇一共5840个字摘要：本篇主要分享能带来线上文本分类效果有效提升的RoBERTa-wwm-ext模型。
数据拾光者·2023-01-13 17:29

几种预训练模型：bert-wwm,RoBERTa,RoBERTa-wwm

bert-large：24层，330M参数bert-base：12层，110M参数1.bert-wwmwwm即wholewordmasking（对全词进行mask），谷歌2019年5月31日发布，对bert的升级，主要更改了原预训练阶段的训练样本生成策略。改进：用mask标签替换一个完整的词而不是字。2.bert-wwm-extbert-wwm的升级版，改进：增加了训练数据集同时也增加了训练步数。
谁怕平生太急·2023-01-13 17:59

基于 bert-wwm-ext + roberta-large实现新馆疫情语句的文本匹配问答

新冠疫情相似句对判定算法说明代码说明运行环境运行说明参考资料1.算法说明本解决方案使用了基于病名\药名的数据增强+模型融合+训练时-测试时增强+伪标签的解决方案基于病名\药名的数据增强Dataaugmentation
甜辣uu·2023-01-13 17:29

ALBERT、XLNet，NLP技术发展太快，如何才能跟得上节奏？

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
普通网友·2023-01-12 10:14

对Transformer、XLNet、 ALBERT、 CRF等技术仍然一知半解？再不学习就OUT了！

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
Evan-yzh·2023-01-12 10:43

ALBERT、XLNet，NLP 技术发展太快，如何才能跟得上节奏？

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
weixin_38753422·2023-01-12 10:43

对 GCN, Transformer, XLNet, ALBERT, CRF 等技术仍然一知半解？再不学习就 OUT 了！

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
weixin_38753422·2023-01-12 10:43

为NLP从业者/研究生/研究员专门定制的全网唯一高端NLP训练营

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
风度78·2023-01-12 10:08

【芝麻街一家】& Bert Bart RoBERTa

预训练语言模型基础结构大名鼎鼎的芝麻街SmallerModelNetworkArchitectureImprovementsHowtoFine-tuneExtraction-basedQACombinationofFeaturesWhyPre-trainModels?ELMoBERTWholeWordMasking(WWM)SpanBERTMASS/BARTRoBERTa静态Maskingvs动态
HDU-Dade·2023-01-10 15:40

gpt笔记

LanguageModelsareFew-ShotLearners(PaperExplained)代码：gpt-4chan代码gpt-3论文几种前沿NLP模型的对比参考Gpt,gpt2,gpt3,bert,roberta
Melody2050·2023-01-09 09:56

【回答问题】ChatGPT上线了！给我推荐20个比较流行的知识蒸馏模型/方法/源码

个比较流行的深度学习知识蒸馏方法给我推荐20个比较流行的深度学习知识蒸馏方法源码给我推荐20个比较流行的深度学习知识蒸馏实现源码给我推荐20个比较流行的知识蒸馏模型好的，以下是比较流行的知识蒸馏模型：中文版BERT中文版RoBERTa
源代码杀手·2023-01-06 19:09

或许只用RoBERTa就够了

点击上方“AI遇见机器学习”，选择“星标”公众号重磅干货，第一时间送达来自|知乎作者|邱锡鹏地址|https://zhuanlan.zhihu.com/p/366133681编辑|机器学习算法与自然语言处理公众号本文仅作学术分享，若侵权，请联系后台删文处理论文地址:[Paper](arxiv.org/abs/2104.0498)代码repo:[RoBERTaABSA](github.com/ROG
Evan-yzh·2023-01-05 16:28

【论文学习】RoBERTa

目录摘要训练过程分析摘要RoBERTa（ARobustlyOptimizedBERTPretrainingApproach）基本与BERT一致，但在以下方面做了一些细节调整：1）在更多数据上，以更大batch_size
凯子要面包·2023-01-05 16:28

BERT、ALBERT、RoBerta、ERNIE模型对比和改进点总结

1.BERT总结MLM(Maskedlanguagemodel)NSP(NextSentencePrediction)MLM：在一句话中随机选择15%的词汇用于预测。对于在原句中被抹去的词汇，80%情况下采用一个特殊符号[MASK]替换，10%情况下采用一个任意词替换，剩余10%情况下保持原词汇不变。这么做的主要原因是：在后续微调任务中语句中并不会出现[MASK]标记，而且这么做的另一个好处是：预
xuyupeng_sjtu·2023-01-05 16:28

中文对话情感分类调研

/5中的亚军代码https://god.yanxishe.com/codeplan/detail/41，发现了roeberta_zh_L-24_H-1024_A-16（貌似就是下文中的chinese_roberta_wwm_large_ext_L
MissZhou要努力·2023-01-05 16:28

【Deep Learning A情感文本分类实战】2023 Pytorch+Bert、Roberta+TextCNN、BiLstm、Lstm等实现IMDB情感文本分类完整项目（项目已开源）

作者最近在看了大量论文的源代码后，被它们干净利索的代码风格深深吸引，因此也想做一个结构比较规范而且内容较为经典的任务本项目使用Pytorch框架，使用上游语言模型+下游网络模型的结构实现IMDB情感分析语言模型可选择Bert、Roberta
北村南·2023-01-05 16:58

【回答问题】ChatGPT上线了！推荐30个以上比较好的命名实体识别模型

推荐的命名实体识别模型有：BERT（BidirectionalEncoderRepresentationsfromTransformers）RoBERTa（RobustlyOptimized
源代码杀手·2023-01-04 10:15

【回答问题】ChatGPT上线了！给我推荐20个比较流行的nlp预训练模型

目录给我推荐20个比较流行的nlp预训练模型给我推荐20个比较流行的nlp预训练模型源码给我推荐20个比较流行的nlp预训练模型BERT(谷歌)GPT-2(OpenAI)RoBERTa(Facebook
源代码杀手·2023-01-03 18:01

《论文阅读》EmoBERTa: Speaker-Aware Emotion Recognition in Conversation with RoBERTa

Speaker-AwareEmotionRecognitioninConversationwithRoBERTa简介思路出发点任务定义模型结构构造输入模型架构训练过程实验结果结论出版：arXiv时间：2021类型：对话中的情感识别特点：roberta
365JHWZGo·2023-01-03 09:45

pytorch 加载 本地 roberta 模型

在利用Torch模块加载本地roberta模型时总是报OSERROR，如下：OSError:Modelname'.
guyu1003·2023-01-02 15:28

Gpt,gpt2,gpt3,bert,roberta,t5模型区别分析

Gpt,gpt2,gpt3,bert,roberta,t5模型区别分析只有decoder：GPT：仅使用上文进行编码GPT2:仍然仅使用上文进行编码（因为要处理生成任务）。但是模型更大，数据量更多。
小星星么么哒·2023-01-02 10:35

【AI4Code】《CodeBERT: A Pre-Trained Model for Programming and Natural Languages》 EMNLP 2020

方法模型架构模型就是BERT，模型架构和RoBERTa-b
chad_lee·2023-01-02 08:05

transformers加载roberta实现序列标注任务

transformers加载roberta实现序列标注任务最近在断断续续的学习huggingface的transformers，主要是运用transformers加载各种预训练模型实现序列标注。
xuanningmeng·2022-12-31 17:31

关于transformer、bert、xlnet、roberta、albert的简要小结

01transformertransformer重要的地方是引入了attention机制，可以得到embeding的token之间的相互关系信息。以及在embeding的时候，计算了相对位置的信息，让输入的信息更加全面。细节在这里不再描述，可以参考这篇作者的链接：https://jalammar.github.io/illustrated-transformer/02bertBert沿用了tran
weixin_41710583·2022-12-31 17:01

BERT、RoBerta、XLNet、ALBERT对比

RoBerta静态MaskVS动态Mask静态Mask：
transformer_WSZ·2022-12-31 17:30

transformers本地加载roberta模型pytorch

本地加载roberta-base模型文件，roberta-large同理，只不过hidden_size从768变为1024，在该网站下载模型文件：roberta-baseatmain(huggingface.co
Arms206·2022-12-31 17:00

Roberta的tokenizer简单使用

fromtransformersimportAutoTokenizermodel_checkpoint="distilbert-base-uncased"tokenizer=AutoTokenizer.from_pretrained(model_checkpoint)tokens=datasets["train"][4]['tokens']token_strings=''.join(dataset
小黑无敌·2022-12-31 17:30

roberta

roberta的准备工作attention刚开始应用于CV领域，后来迁移到NLP领域后来基于attention提出了transformer利用transformer的堆叠形成了bertroberta是对
Tingsie·2022-12-31 17:57

第12章：NLP比赛的明星模型RoBERTa架构剖析及完整源码实现

2，RoBERTa去掉NSP任务的数学原理分析3，抛弃了token_type_ids的RoBERTa4，更大的mini-batches在面对海量的数据训练时是有效的数学原理解析5，为何更大的Learningrates
StarSpaceNLP667·2022-12-31 17:57

Transformers - Roberta(huggingface)

目录1Overview2RobertaConfig3RobertaTokenizer3.1classtransformers.RobertaTokenizer3.2build_inputs_with_special_tokens3.3get_special_tokens_mask3.4create_token_type_ids_from_sequences3.5save_vocabulary4Ro
无脑敲代码，bug漫天飞·2022-12-31 17:56

用pytorch版Bert获取中文字向量

首先要从https://github.com/ymcui/Chinese-BERT-wwm中下载相应的模型解压到相应目录，比如我下载的是Chinese-Roberta-wwm-ext-pytorch：importtorchfromtransformersimportBertTokenizer
阿袁的小园子·2022-12-30 01:37

Pytorch框架下的transformers的使用

框架下开发了transformers工具包：https://github.com/huggingface/transformers，工具包实现了大量基于transformer的模型，如albert，bert，roberta
江户香葱饼·2022-12-28 18:39

技术干货｜昇思MindSpore NLP模型迁移之Roberta ——情感分析任务

熟悉BERT模型的小伙伴对于Roberta模型肯定不陌生了。
昇思MindSpore·2022-12-28 14:01

【最新试验】用预训练模型Roberta做序列标注_自然语言处理_使用RobertaForTokenClassification做命名实体识别pytorch版

有了ｂｅｒｔ,roberta还会远吗，目前ｐｙｔｏｒｃｈｔｒａｎｓｆｏｒｍｅｒ上已经放出了ｂｅｒｔＦｏｒＴｏｋｅｎＣｌａｓｓｉｆｉｃａｔｉｏｎ然而,在工业界前进的我们，不能忍受如此慢速的更新于是我们自己写好了
机器玄学实践者·2022-12-26 01:39

【Pytorch】BERT+LSTM+多头自注意力（文本分类）

通过对BERT、RoBERTa、GPT等预训练模型微调（fine-tuning）或者
NLP饶了我·2022-12-25 21:31

基于Roberta进行微博情感分析

概览：情感分析是NLP中一大分支，本文尝试使用预训练模型（Roberta-wwm-ext）对微博通用数据进行情感分类，共六种类别（积极、愤怒、悲伤、恐惧、惊奇、无情绪）。
老穷酸·2022-12-25 04:00

NLP-预训练模型-201806-NLG：GPT-1【Decoder of Transformer】【预训练：GPT使用单向语言模型；Fine-tuning：GPT、Task的参数一起训练】

NLP领域，预训练模型往往是语言模型，因为语言模型的训练是无监督的，可以获得大规模语料，同时语言模型又是许多典型NLP任务的基础，如机器翻译，文本生成，阅读理解等，常见的预训练模型有BERT,GPT,roBERTa
u013250861·2022-12-23 08:59

pytorch实现bert_精细调整bert和roberta以在pytorch中实现高精度文本分类

pytorch实现bertAsofthetimeofwritingthispiece,state-of-the-artresultsonNLPandNLUtasksareobtainedwithTransformermodels.Thereisatrendofperformanceimprovementasmodelsbecomedeeperandlarger,GPT3comestomind.Tr
weixin_26750481·2022-12-22 19:03

BertNet、RoBertaNe

又带来了可扩展、可解释，从预训练语言模型中高效提取知识图谱的新框架来自加州大学圣迭戈分校（UCSD）、卡内基梅隆大学（CMU）等机构的研究者提出了一种自动知识抽取框架，可以从BERT或RoBerta等预训练语言模型中高效且可扩展地提取知识图谱
whaosoft143·2022-12-22 16:22

python transformers_Transformers 简介（上）

Transformers(以前称为pytorch-transformers和pytorch-pretrained-bert)提供用于自然语言理解(NLU)和自然语言生成(NLG)的最先进的模型(BERT，GPT-2，RoBERTa
weixin_39860757·2022-12-20 15:27

【预训练模型】学习笔记

预训练模型1、BERT基本概念模型结构BERT微调2、XLNET3、RoBERTa4、ALBERT1、BERT基本概念BERT（BI-directionalEncoderRepresentationsfromTransformers
飞驰的码农·2022-12-20 09:36
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他