RoBERTa

冲击SuperGLUE：基于多任务与对抗训练的Finetune方案解析

PaperWeekly原创·作者｜FrankLuo单位｜追一科技AILab研究员研究方向｜自然语言处理前言英文通用语言理解评测基准GLUE[1]自提出以来，吸引了一大批预训练语言模型(BERT[2]，XLNET[3]，RoBERTa
PaperWeekly·2020-08-06 12:29

nlp 预训练模型总结

Google原版bert:https://github.com/google-research/bertbrightmart版roberta:https://github.com/brightmart/
__Songsong·2020-08-05 04:21

(含源码)「自然语言处理(NLP)」RoBERTa&&XLNet&&语言模型&&问答系统训练

来源:AINLPer微信公众号（每日更新…）编辑:ShuYini校稿:ShuYini时间:2020-07-27引言：本次内容主要包括：稳健优化Bert模型（RoBERTa）、自回归预训练模型（XLNet
yinizhilianlove·2020-08-01 08:27

Pytorch Transformers 中 Roberta 添加特殊Token

添加特殊Token，保证模型不把它拆分，用作标记之用importtorchfromtransformersimportRobertaModel,RobertaConfig,RobertaTokenizer#Roberta
挡不住三千问的BlueCat·2020-07-28 05:45

最新自然语言处理库transformers

Transformers(以前称为pytorch-transformers和pytorch-pretrained-bert)提供用于自然语言理解(NLU)和自然语言生成(NLG)的最先进的模型(BERT，GPT-2，RoBERTa
文文学霸·2020-07-27 18:15

BERT家族：RoBERTa

RoBERTa论文：《RoBERTa：ARobustlyOptimizedBERTPretrainingApproach》作者/机构：Facebook+华盛顿大学论文地址：https://arxiv.org
姆爷·2020-07-16 05:03

万字长文带你纵览 BERT 家族

目录1.BERT1.1概述1.2模型解读1.3BERT的特点1.4用法2.BERT的后代2.1XL-Net2.2RoBERTa2.3ALBERT2.4ELECTRA2.5ERNIE2.6BERT-WWM2.7SpanBERT2.8TinyBERT2.9DistillBERT2.10sentence-BERT2.11K-BERT2.12SemBert2.13StructBERT
姆爷·2020-07-15 14:47

Pytorch之Bert文本分类(三)

这个文件中包括5个模型的使用，bert,xlnet,xlm,roberta,distilbertMODEL_CLASSES={'bert':(BertConfig,BertForSequenceClassification
SZU_Hadooper·2020-07-10 23:21

NLP模型卡-RoBERTa

一：模型简介许多Bert+的模型基本都会对Bert的模型结构进行修修补补，然后跑出一个SOTA值，但是RoBerta并没有提出一个新的模型结构，其全名是ARobustlyOptimizedBERTPretrainingApproach
这个名字有人用？·2020-07-08 21:25

文献记录－RoBERTa: A Robustly Optimized BERT Pretraining Approach

文献地址：https://arxiv.org/pdf/1907.11692.pdf摘要：本文对BERT模型中的超参数进行研究，对超参数和预训练的数据量上进行了优化．简介：研究内容：（１）更大的模型，更多的训练批次，更多的训练数据（２）删除了预训练过程中＂下一句预测＂的任务（３）训练更长的序列（data）（４）改变掩码模型背景：bert的优化算法中Adam中，β１＝０．９，β２＝０．９９９，epsi
wenqiang su·2020-07-06 04:09

一文读懂自注意力机制：8大步骤图解+代码

BERT,RoBERTa,ALBERT,Sp
Evan-yzh·2020-07-06 01:39

绝对干货！NLP预训练模型：从transformer到albert

没过多久，bert的增强版roberta
mishidemudong·2020-07-05 15:54

7.3 NLP中的常用预训练模型

中流行的预训练模型.掌握如何加载和使用预训练模型.2.3.1当下NLP中流行的预训练模型:BERTGPTGPT-2Transformer-XLXLNetXLMRoBERTaDistilBERTALBERTT5XLM-RoBERTa2.3.2BERT
射大雕的迪西。·2020-07-04 23:50

NLP的12种后BERT预训练方法

阅读大概需要11分钟跟随小博主，每天进步一丢丢作者：朝九晚九学校：北京航空航天大学研究方向：自然语言处理目录1.RoBERTa2.ERNIE3.ERNIE2.04.XLMs5.MASS6.UNILM7.
Congqing He·2020-07-04 17:12

BERT与其他预训练模型

上一期我们讲到BERT的原理与应用这一期我们讲一下其他预训练模型~8.1.3RoBERTa语言模型的预训练带来了可观的性能提升，但是不同方法之间的仔细比较却是一项艰巨的任务。
Chile_Wang·2020-07-04 05:07

Macadam自然语言处理(NLP)工具包(TextClassification, SequenceLabeling, RelationExtraction)

支持RANDOM、WORD2VEC、FASTTEXT、BERT、ALBERT、ROBERTA、NEZHA、XLNET、ELECTRA、GPT-2等EMBEDDING嵌入;支持FineTune、FastText
Macropodus·2020-07-01 04:14

协作机器人

厂商名称所属国家主要产品首发时间自由度单臂双臂UniversalRobots丹麦UR3UR5和UR1020096轴√RethinkRobotics美国BaxterSawyer20127轴√√ABB瑞士YuMi和Roberta20157
wjydym·2020-06-29 19:32

一文揭开ALBERT的神秘面纱

前言RoBERTa没霸榜几天，这不Google爸爸就又放大招，这次的新模型不再是简单的的升级，而是采用了全新的参数共享机制，反观其他升级版BERT模型，基本都是添加了更多的预训练任务，增大数据量等轻微的改动
爱编程真是太好了·2020-06-27 04:35

自然语言处理（NLP）： 12 BERT文本分类

文章目录BERT介绍BERT论文阅读BERT用做特征提取BERT源码分析BERT升级版RoBERTa：更强大的BERTALBERT：参数更少的BERTDistilBERT：轻量版BERT电影评论情感分析代码实现训练过程新闻文本分类
走在前方·2020-06-26 08:40

Topics in High-Performance Messaging

TopicsinHigh-PerformanceMessaging-by-RobertA.VanValzahToddL.MontgomeryEricBowdenCopyright©2004-2011Informatica
romandion·2020-06-26 06:02

冷，凄凉，而孤独 《纽约灾星 The Jinx》

故事的主人公叫RobertA.Durst，他是纽约房地产巨擘的长子，但并没有继承父亲的商业帝国，而是成为了一个背负童年阴影、身陷数起凶案、神秘而怪异的老头儿。
黄大歇·2020-06-25 16:24

Transformers库简单使用

Transformers库也叫（pytorch-transformersandpytorch-pretrained-bert）,提供了很多SOTA的预训练模型，比如BERT,GPT-2,RoBERTa,
风吹草地现牛羊的马·2020-06-24 14:57

Pytorch+Google BERT模型（RoBERTa+LSTM+GRU）实战

Pytorch+GoogleBERT模型（RoBERTa+LSTM+GRU）实战BERT(BidirectionalEncoderRepresentationsfromTransformers)模型的前置基础知识
段智华·2020-06-23 05:36

NLP预训练模型2 -- BERT详解和源码分析

系列文章，请多关注NLP预训练模型1–综述NLP预训练模型2–BERT详解和源码分析NLP预训练模型3–预训练任务优化（ERNIE、SpanBERT）NLP预训练模型4–训练方法优化（RoBERTa、T5
谢杨易·2020-06-22 20:38

对GCN,Transformer， XLNet, ALBERT, CRF等技术仍然一知半解？再不学习就OUT了！

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
机器学习算法那些事·2020-06-22 13:49

有趣的深度学习——使用 BERT 实现一个古体诗生成器

而现在说到NLP，就很难绕开Transformers系列模型，譬如BERT、GPT-2、RoBERTa、ALBERT、XLNet等等。
笔墨留年·2020-06-22 11:37

媲美ROBERTA？ ELECTRA快速了解一下！

这两个月打比赛的时候，有些小伙伴提到了electra这个预训练模型，说是能用roberta预训练运算量的1/4，甚至更少，使下游任务性能达到与roberta相当效果。
Chile_Wang·2020-06-21 18:40

深度学习之文本分类模型-基于transformer

目录1、transformer2、GPT3、bert4、RoBERTa5、ALBERT6、spanBert7、xlnet1、transformertransformer就是大名鼎鼎的论文《AttentionIsAllYouNeed
空空如也_stephen·2020-06-17 10:00

（2020.6.16）BERT家族

RoBERTa：只有MLM，对超参数进行了调整，且使用byte-pairencoding。ELECT
SQLKRAD·2020-06-16 20:00

译文：Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

摘要BERT(Devlinetal.,2018)和RoBERTa(Liuetal.,2019)已经在句子对回归任务上取得了最新最好的效果，比如语义文本相似任务（STS）。
leap_ruo·2020-05-24 14:13

老板请三思：别因为客户而辜负了员工

好文3190字|6分钟阅读作者：奥马尔·梅洛（OmarMerlo）、安德烈亚斯·艾森格里奇（AndreasB.Eisingerich）、申海京（Hae-KyungShin）、罗伯特·布里顿（RobertA.Britton
商业评论精选·2020-05-21 00:00

老板请三思：别因为客户而辜负了员工

好文3190字|6分钟阅读作者：奥马尔·梅洛（OmarMerlo）、安德烈亚斯·艾森格里奇（AndreasB.Eisingerich）、申海京（Hae-KyungShin）、罗伯特·布里顿（RobertA.Britton
商业评论杂志·2020-05-21 00:00

Transformer相关的各种预训练模型优点缺点对比总结与资料收集(Transformer/Bert/Albert/RoBerta/ERNIE/XLnet/ELECTRA）

文章目录1、Transfomer基础资料基本结构singleattention和multiHeadattentionattentionmulti-headattentionself-attentionencoder和decoderAdd&NormPosition-wiseFeed-ForwardNetworks（Relu）WeightTyingNormalizationdecodermaskOpt
qq_33998728·2020-05-08 13:00

华为提出新型动态 BERT 模型，可自适应宽度和深度并保持高性能

据论文作者介绍，像BERT和RoBERTa这样的预训练语言模型虽然在许多自然语言处理任务中功
王治治·2020-04-14 12:15

各美其美，美人之美，美美与共，天下大同 - 草稿

书院坐落于清华的核心位置，由耶鲁大学建筑学院院长、后现代主义建筑风格创始人之一罗伯特·斯特恩（RobertA.M.Stern）教授主持设计，外观极有中
Tracyseven·2020-04-10 16:10

华为诺亚方舟开源预训练模型“哪吒”，4项任务均达到SOTA

出品|AI科技大本营（ID:rgznai100）BERT之后，新的预训练语言模型XLnet、RoBERTa、ERNIE不断推出，这次，华为诺亚方舟实验室开源了基于BERT的中文预训练语言模型NEZHA（
AI科技大本营·2020-03-22 13:12

迪士尼新CEO即将上任！？ 迪士尼?为什么要换帅？

位子上坐了快15年的罗伯特·艾格尔终于宣布离任此前他的任期已经延长了四次最近一次是从去年六月延至明年年底迪士尼似乎一直没有找到符合董事会要求的CEO据外媒消息，当地时间2月26日迪士尼宣布罗伯特·艾格尔（RobertA
wuhu动画人空间·2020-02-27 00:00

迪士尼新CEO即将上任！？ 迪士尼为什么要换帅？

位子上坐了快15年的罗伯特·艾格尔终于宣布离任此前他的任期已经延长了四次最近一次是从去年六月延至明年年底迪士尼似乎一直没有找到符合董事会要求的CEO据外媒消息，当地时间2月26日迪士尼宣布罗伯特·艾格尔（RobertA
wuhu动画人空间·2020-02-27 00:00

RoBERTa模型总结

RoBERTa模型总结前言RoBERTa是在论文《RoBERTa:ARobustlyOptimizedBERTPretrainingApproach》中被提出的。
ffjsls·2020-02-04 19:00

Simple Transformer：用BERT、RoBERTa、XLNet、XLM和DistilBERT进行多类文本分类

作者|ThilinaRajapakse译者|Raku编辑|夕颜出品|AI科技大本营（ID:rgznai100）【导读】本文将介绍一个简单易操作的Transformers库——SimpleTransformers库。它是AI创业公司HuggingFace在Transformers库的基础上构建的。HuggingFaceTransformers是供研究与其他需要全面控制操作方式的人员使用的库，简单易操
AI科技大本营·2019-10-28 19:48

RoBERTa

2019-10-1921:46:18问题描述：谈谈对RoBERTa的理解。
hyserendipity·2019-10-19 21:00

文献阅读笔记:RoBERTa：A Robustly Optimized BERT Pretraining Approach

YinhanLiu、MyleOtt发布地方：arxiv论文地址：https://arxiv.org/abs/1907.11692论文代码：https://github.com/pytorch/fairseq1.介绍RoBERTa
JasonLiu1919·2019-09-09 16:11

CCF BDCI 互联网新闻情感分析 baseline思路（持续更新..）

目前roberta+5fold线上0.8091，当前排名top349.4xlnet设置maxseqlength512，线上单模0.7999，再voting一下，线上0.8067，当前排名top99.2上分啦
Uzii·2019-08-29 14:41

BERT or XLNet，围观NLP巅峰烧钱大战。技术发展太快，如何才能跟得上节奏？

上周剧情再次翻转，改进版BERT-RoBERTa登上了GLUE排行榜榜首。这场没有想要的技术攻坚战，在短短一个月内持续发酵。
Paper_weekly·2019-08-10 13:40

改进版的RoBERTa到底改进了什么？

在XLNet全面超越Bert后没多久，Facebook提出了RoBERTa（aRobustlyOptimizedBERTPretrainingApproach）。再度在多个任务上达到SOTA。
Johann_Liang·2019-08-06 22:59

[ NLP ] 自然语言处理必读论文及预训练模型（2019.9.4更）

【RoBERTa】LiuY,OttM,GoyalN,etal.RoBERTa:ARobustlyOptimizedBERTPretrainingApproach[J].arXivpreprintarXiv
Uzii·2019-06-26 17:26

[PED09]Deep one-class classification

论文名：Deeponeclassclassification作者：LukasRuff*1RobertA.Vandermeulen*2NicoGornitz¨3发表刊物：ICML发表时间：2018相关概念
zpainter·2019-03-17 23:59

都贵玛：草原母亲，大爱无疆 | 功勋

波士顿大学校长RobertA.Brown和波士顿大学校董、IDG资本全球董事长熊晓鸽一起为张艺谋颁发学位证书。张艺谋荣誉博士学位是由熊晓鸽提名，并获得波士顿大学董事会全票通过后决定授予。
IDG资本·2018-05-23 00:00

poj 1491 gcd（求PI的近似值）

题意：首先给出一种求PI近似值的方法，由RobertA.J.Matthews提出。随机给出n个无重复正整数，其中互质的数对有m对，那么比例为m/Cn,2。而这个比例接近常数6/PI^2。
dumeichen·2014-08-23 18:00

ESL Podcast 731 - Hints and Innuendo

 Roberta:Youknow,mybirthdayiscomingup.John:Yeah,Iknow.Whatareyougettingat?
flybird19870326·2011-10-24 18:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他