RoBERTa

ALBERT、XLNet，NLP技术发展太快，如何才能跟得上节奏？

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
普通网友·2023-01-12 10:14

对Transformer、XLNet、 ALBERT、 CRF等技术仍然一知半解？再不学习就OUT了！

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
Evan-yzh·2023-01-12 10:43

ALBERT、XLNet，NLP 技术发展太快，如何才能跟得上节奏？

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
weixin_38753422·2023-01-12 10:43

对 GCN, Transformer, XLNet, ALBERT, CRF 等技术仍然一知半解？再不学习就 OUT 了！

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
weixin_38753422·2023-01-12 10:43

为NLP从业者/研究生/研究员专门定制的全网唯一高端NLP训练营

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
风度78·2023-01-12 10:08

【芝麻街一家】& Bert Bart RoBERTa

预训练语言模型基础结构大名鼎鼎的芝麻街SmallerModelNetworkArchitectureImprovementsHowtoFine-tuneExtraction-basedQACombinationofFeaturesWhyPre-trainModels?ELMoBERTWholeWordMasking(WWM)SpanBERTMASS/BARTRoBERTa静态Maskingvs动态
HDU-Dade·2023-01-10 15:40

gpt笔记

LanguageModelsareFew-ShotLearners(PaperExplained)代码：gpt-4chan代码gpt-3论文几种前沿NLP模型的对比参考Gpt,gpt2,gpt3,bert,roberta
Melody2050·2023-01-09 09:56

【回答问题】ChatGPT上线了！给我推荐20个比较流行的知识蒸馏模型/方法/源码

个比较流行的深度学习知识蒸馏方法给我推荐20个比较流行的深度学习知识蒸馏方法源码给我推荐20个比较流行的深度学习知识蒸馏实现源码给我推荐20个比较流行的知识蒸馏模型好的，以下是比较流行的知识蒸馏模型：中文版BERT中文版RoBERTa
源代码杀手·2023-01-06 19:09

或许只用RoBERTa就够了

点击上方“AI遇见机器学习”，选择“星标”公众号重磅干货，第一时间送达来自|知乎作者|邱锡鹏地址|https://zhuanlan.zhihu.com/p/366133681编辑|机器学习算法与自然语言处理公众号本文仅作学术分享，若侵权，请联系后台删文处理论文地址:[Paper](arxiv.org/abs/2104.0498)代码repo:[RoBERTaABSA](github.com/ROG
Evan-yzh·2023-01-05 16:28

【论文学习】RoBERTa

目录摘要训练过程分析摘要RoBERTa（ARobustlyOptimizedBERTPretrainingApproach）基本与BERT一致，但在以下方面做了一些细节调整：1）在更多数据上，以更大batch_size
凯子要面包·2023-01-05 16:28

BERT、ALBERT、RoBerta、ERNIE模型对比和改进点总结

1.BERT总结MLM(Maskedlanguagemodel)NSP(NextSentencePrediction)MLM：在一句话中随机选择15%的词汇用于预测。对于在原句中被抹去的词汇，80%情况下采用一个特殊符号[MASK]替换，10%情况下采用一个任意词替换，剩余10%情况下保持原词汇不变。这么做的主要原因是：在后续微调任务中语句中并不会出现[MASK]标记，而且这么做的另一个好处是：预
xuyupeng_sjtu·2023-01-05 16:28

中文对话情感分类调研

/5中的亚军代码https://god.yanxishe.com/codeplan/detail/41，发现了roeberta_zh_L-24_H-1024_A-16（貌似就是下文中的chinese_roberta_wwm_large_ext_L
MissZhou要努力·2023-01-05 16:28

【Deep Learning A情感文本分类实战】2023 Pytorch+Bert、Roberta+TextCNN、BiLstm、Lstm等实现IMDB情感文本分类完整项目（项目已开源）

作者最近在看了大量论文的源代码后，被它们干净利索的代码风格深深吸引，因此也想做一个结构比较规范而且内容较为经典的任务本项目使用Pytorch框架，使用上游语言模型+下游网络模型的结构实现IMDB情感分析语言模型可选择Bert、Roberta
北村南·2023-01-05 16:58

【回答问题】ChatGPT上线了！推荐30个以上比较好的命名实体识别模型

推荐的命名实体识别模型有：BERT（BidirectionalEncoderRepresentationsfromTransformers）RoBERTa（RobustlyOptimized
源代码杀手·2023-01-04 10:15

【回答问题】ChatGPT上线了！给我推荐20个比较流行的nlp预训练模型

目录给我推荐20个比较流行的nlp预训练模型给我推荐20个比较流行的nlp预训练模型源码给我推荐20个比较流行的nlp预训练模型BERT(谷歌)GPT-2(OpenAI)RoBERTa(Facebook
源代码杀手·2023-01-03 18:01

《论文阅读》EmoBERTa: Speaker-Aware Emotion Recognition in Conversation with RoBERTa

Speaker-AwareEmotionRecognitioninConversationwithRoBERTa简介思路出发点任务定义模型结构构造输入模型架构训练过程实验结果结论出版：arXiv时间：2021类型：对话中的情感识别特点：roberta
365JHWZGo·2023-01-03 09:45

pytorch 加载 本地 roberta 模型

在利用Torch模块加载本地roberta模型时总是报OSERROR，如下：OSError:Modelname'.
guyu1003·2023-01-02 15:28

Gpt,gpt2,gpt3,bert,roberta,t5模型区别分析

Gpt,gpt2,gpt3,bert,roberta,t5模型区别分析只有decoder：GPT：仅使用上文进行编码GPT2:仍然仅使用上文进行编码（因为要处理生成任务）。但是模型更大，数据量更多。
小星星么么哒·2023-01-02 10:35

【AI4Code】《CodeBERT: A Pre-Trained Model for Programming and Natural Languages》 EMNLP 2020

方法模型架构模型就是BERT，模型架构和RoBERTa-b
chad_lee·2023-01-02 08:05

transformers加载roberta实现序列标注任务

transformers加载roberta实现序列标注任务最近在断断续续的学习huggingface的transformers，主要是运用transformers加载各种预训练模型实现序列标注。
xuanningmeng·2022-12-31 17:31

关于transformer、bert、xlnet、roberta、albert的简要小结

01transformertransformer重要的地方是引入了attention机制，可以得到embeding的token之间的相互关系信息。以及在embeding的时候，计算了相对位置的信息，让输入的信息更加全面。细节在这里不再描述，可以参考这篇作者的链接：https://jalammar.github.io/illustrated-transformer/02bertBert沿用了tran
weixin_41710583·2022-12-31 17:01

BERT、RoBerta、XLNet、ALBERT对比

RoBerta静态MaskVS动态Mask静态Mask：
transformer_WSZ·2022-12-31 17:30

transformers本地加载roberta模型pytorch

本地加载roberta-base模型文件，roberta-large同理，只不过hidden_size从768变为1024，在该网站下载模型文件：roberta-baseatmain(huggingface.co
Arms206·2022-12-31 17:00

Roberta的tokenizer简单使用

fromtransformersimportAutoTokenizermodel_checkpoint="distilbert-base-uncased"tokenizer=AutoTokenizer.from_pretrained(model_checkpoint)tokens=datasets["train"][4]['tokens']token_strings=''.join(dataset
小黑无敌·2022-12-31 17:30

roberta

roberta的准备工作attention刚开始应用于CV领域，后来迁移到NLP领域后来基于attention提出了transformer利用transformer的堆叠形成了bertroberta是对
Tingsie·2022-12-31 17:57

第12章：NLP比赛的明星模型RoBERTa架构剖析及完整源码实现

2，RoBERTa去掉NSP任务的数学原理分析3，抛弃了token_type_ids的RoBERTa4，更大的mini-batches在面对海量的数据训练时是有效的数学原理解析5，为何更大的Learningrates
StarSpaceNLP667·2022-12-31 17:57

Transformers - Roberta(huggingface)

目录1Overview2RobertaConfig3RobertaTokenizer3.1classtransformers.RobertaTokenizer3.2build_inputs_with_special_tokens3.3get_special_tokens_mask3.4create_token_type_ids_from_sequences3.5save_vocabulary4Ro
无脑敲代码，bug漫天飞·2022-12-31 17:56

用pytorch版Bert获取中文字向量

首先要从https://github.com/ymcui/Chinese-BERT-wwm中下载相应的模型解压到相应目录，比如我下载的是Chinese-Roberta-wwm-ext-pytorch：importtorchfromtransformersimportBertTokenizer
阿袁的小园子·2022-12-30 01:37

Pytorch框架下的transformers的使用

框架下开发了transformers工具包：https://github.com/huggingface/transformers，工具包实现了大量基于transformer的模型，如albert，bert，roberta
江户香葱饼·2022-12-28 18:39

技术干货｜昇思MindSpore NLP模型迁移之Roberta ——情感分析任务

熟悉BERT模型的小伙伴对于Roberta模型肯定不陌生了。
昇思MindSpore·2022-12-28 14:01

【最新试验】用预训练模型Roberta做序列标注_自然语言处理_使用RobertaForTokenClassification做命名实体识别pytorch版

有了ｂｅｒｔ,roberta还会远吗，目前ｐｙｔｏｒｃｈｔｒａｎｓｆｏｒｍｅｒ上已经放出了ｂｅｒｔＦｏｒＴｏｋｅｎＣｌａｓｓｉｆｉｃａｔｉｏｎ然而,在工业界前进的我们，不能忍受如此慢速的更新于是我们自己写好了
机器玄学实践者·2022-12-26 01:39

【Pytorch】BERT+LSTM+多头自注意力（文本分类）

通过对BERT、RoBERTa、GPT等预训练模型微调（fine-tuning）或者
NLP饶了我·2022-12-25 21:31

基于Roberta进行微博情感分析

概览：情感分析是NLP中一大分支，本文尝试使用预训练模型（Roberta-wwm-ext）对微博通用数据进行情感分类，共六种类别（积极、愤怒、悲伤、恐惧、惊奇、无情绪）。
老穷酸·2022-12-25 04:00

NLP-预训练模型-201806-NLG：GPT-1【Decoder of Transformer】【预训练：GPT使用单向语言模型；Fine-tuning：GPT、Task的参数一起训练】

NLP领域，预训练模型往往是语言模型，因为语言模型的训练是无监督的，可以获得大规模语料，同时语言模型又是许多典型NLP任务的基础，如机器翻译，文本生成，阅读理解等，常见的预训练模型有BERT,GPT,roBERTa
u013250861·2022-12-23 08:59

pytorch实现bert_精细调整bert和roberta以在pytorch中实现高精度文本分类

pytorch实现bertAsofthetimeofwritingthispiece,state-of-the-artresultsonNLPandNLUtasksareobtainedwithTransformermodels.Thereisatrendofperformanceimprovementasmodelsbecomedeeperandlarger,GPT3comestomind.Tr
weixin_26750481·2022-12-22 19:03

BertNet、RoBertaNe

又带来了可扩展、可解释，从预训练语言模型中高效提取知识图谱的新框架来自加州大学圣迭戈分校（UCSD）、卡内基梅隆大学（CMU）等机构的研究者提出了一种自动知识抽取框架，可以从BERT或RoBerta等预训练语言模型中高效且可扩展地提取知识图谱
whaosoft143·2022-12-22 16:22

python transformers_Transformers 简介（上）

Transformers(以前称为pytorch-transformers和pytorch-pretrained-bert)提供用于自然语言理解(NLU)和自然语言生成(NLG)的最先进的模型(BERT，GPT-2，RoBERTa
weixin_39860757·2022-12-20 15:27

【预训练模型】学习笔记

预训练模型1、BERT基本概念模型结构BERT微调2、XLNET3、RoBERTa4、ALBERT1、BERT基本概念BERT（BI-directionalEncoderRepresentationsfromTransformers
飞驰的码农·2022-12-20 09:36

Transformer使用RobertaTokenizer时解决TypeError: not NoneType

但是当我用roberta时下载相同的四个文件会报错TypeError运行以下代码不报错，报错的话检查一下文件目录有没有出错fromtransformersimportBertTokenizertokenizer
dognoline·2022-12-19 09:47

Pytorch实现Bert/RoBerta微调（以MELD数据集为例）

Bert/RoBerta微调笔记前言为什么要进行微调？怎么微调？参数的设置？问题：（1）Bert/RoBerta所有参数是不是都要训练？
dognoline·2022-12-19 09:17

NLP（五十三）在Keras中使用英文Roberta模型实现文本分类

  英文Roberta模型是2019年Facebook在论文RoBERTa:ARobustlyOptimizedBERTPretrainingApproach中新提出的预训练模型，其目的是改进BERT模型存在的一些问题
山阴少年·2022-12-18 02:21

为解决BERT模型对语料中低频词的不敏感性

简介近年来，预训练语言模型在NLP领域取得了突破性的提升，其中BERT，RoBERTa，XLNet都采用了MLM任务获取了
深度之眼·2022-12-17 13:23

【NLP】万字梳理！BERT之后，NLP预训练模型发展史

作者|周俊贤整理|NewBeeNLP本文讲解下BERT推出后，预训练模型的演变，包括BERT、RoBERTa、ALBERT、ERNIE系列、ELECTRA。
风度78·2022-12-17 09:58

论文笔记 | Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

作者：迪单位：燕山大学论文地址代码地址论文来源：EMNLP2019前言  虽然BERT和RoBERTa在诸如文本语义相似度等任务上达到了SOTA效果，但是它们还存在一些缺点：在这些任务中，它们需要将比较的两个句子都传入到模型中计算
期待成功·2022-12-16 07:24

中文拼写检查-Dynamic Connected Networks for Chinese Spelling Check

模型结构（1）汉字编码器：Roberta（2）PinyinEnhancedCandidateGenerator拼音加强的候选汉字生成器pi是拼音embeding(将不含声调的拼音当作一个整体，进行编码)
旺旺棒棒冰·2022-12-15 14:31

FastBERT——自蒸馏模型与自适应调整推断时间技术

前言这几天被分配到的任务是调研现有的几种基于BERT的蒸馏模型，所以花了些时间了解了下DistilBERT，TinyBERT以及FastBERT.自从BERT发布以来，各种基于BERT的改良版本（如RoBERTa
夏树让·2022-12-14 15:11

Transformers Roberta如何添加tokens

1.前提最近用roberta模型需要添加specialtokens，但每次运行在GPU上会报错（上面还有一堆的block）而在CPU上则报错网上搜了很多资料，说是如果增加了specialtokens或是修改了
Vincy_King·2022-12-14 08:03

在bert上使用领域的数据集继续预训练

1、下载bert或者roberta的源码以及开源的预训练模型https://github.com/brightmart/roberta_zh2、准备好自己的领域数据格式是：一行一句话，多个文本之间使用空行隔开为了解决这个问题
samoyan·2022-12-14 08:28

BertTokenizer如何添加token

例如下面的例子：tokenizer=BertTokenizer.from_pretrained("hfl/chinese-roberta-wwm-ext-large")model=BertModel.from_pretrained
HJHGJGHHG·2022-12-14 08:57

使用MindStudio进行deberta模型训练

DeBERTa(Decoding-enhancedBERTwithdisentangledattention)，如名字所述，有两个技术来改善BERT和RoBERTa，第一个是disentangledattention
weixin_38239810·2022-12-13 16:58
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他