XLNet

做人类语言谜题的破壁人：百度ERNIE 2.0的突破与创造

这两天AI圈有一个广受关注的新闻，百度发布了持续学习的语义理解框架ERNIE2.0，这个模型在1.0版本中文任务中全面超越BERT的基础上，英文任务取得了全新突破，在共计16个中英文任务上超越了BERT和XLNet
脑极体·2020-07-09 11:02

NLP模型卡-XLNet

因此XLNet整合了这两个模型的优点同时解决了Be
这个名字有人用？·2020-07-08 21:25

ALBERT 思想简介

记得XLNET出来的时候，其各个效果提升因素(引入PLM，引入Transforme
chvalrous·2020-07-07 05:05

自然语言处理十二时辰的午时已到，百度ERNIE2.0有望化身张小敬引领行业迎来突破

前一段时间谷歌发布的XLNET在各方面都已经超过了之前的行业标杆BERT，而百度最近发布了ERNIE2.0又是成绩斐然。
beyondma·2020-07-06 20:24

16项中英文任务表现超越BERT和XLNet

欢迎关注【百度NLP】官方微信公众号，及时获取更多自然语言处理领域的技术干货！阅读原文：https://mp.weixin.qq.com/s/43UBYDpYd4pd3fZXYPJWUw2019年3月，百度正式发布NLP模型ERNIE，其在中文任务中全面超越BERT一度引发业界广泛关注和探讨。今天，经过短短几个月时间，百度ERNIE再升级。发布持续学习的语义理解框架ERNIE2.0，及基于此框架的
百度-NLP·2020-07-06 11:58

绝对干货！NLP预训练模型：从transformer到albert

gpt在auto-regressive的路上一路走到黑，而xlnet将gpt和bert的优点结合在了一起，然后用更更大的数据吊打了bert。没过多久，bert的增强版roberta
mishidemudong·2020-07-05 15:54

【NLP】ALBERT：更轻更快的NLP预训练模型

目前在NLP领域，出彩的预训练模型的新工作，几乎都是基于BERT的改进，前面我们就介绍了XLNET。今天我来介绍一个更新的工作，相比于BERT，它更轻量，效果也要好。
言有三·2020-07-04 17:39

【NLP】BERT大魔王为何在商业环境下碰壁？

作者|OrenPereg翻译|NewBeeNLP写在前面大型基于Transformer的神经网络，例如BERT，GPT和XLNET，最近在许多NLP任务中取得了最新的成果。
风度78·2020-07-04 15:41

ELECTRA：超越BERT，2019年最佳NLP预训练模型

作者|李如来源|NLPCAB（ID:rgznai100）【导读】BERT推出这一年来，除了XLNet，其他的改进都没带来太多惊喜，无非是越堆越大的模型和数据，以及动辄1024块TPU，让工程师们不知道如何落地
AI科技大本营·2020-07-04 14:04

XLNet作者杨植麟：超越BERT，用AI 赋能企业销售

本期Robin.lyAI访谈特邀Recurrent.ai的联合创始人、CMU博士杨植麟博士，介绍了他们团队共同发明的XLNet算法，以及他和他的团队
Robin.ly·2020-07-04 07:57

【完结】 12篇文章带你完全进入NLP领域，掌握核心技术

在本专栏中，我们从NLP中常用的机器学习算法开始，介绍了NLP中常用的算法和模型；从朴素贝叶斯讲到XLnet，特征抽取器从RNN讲到transformerXL。这篇文章我们就一起回顾一下这些文章。
言有三·2020-07-04 00:39

为什么BERT在商业环境碰壁？

大型基于Transformer的神经网络，例如BERT，GPT和XLNET，最近在许多NLP任务中取得了最新的成果。
kaiyuan_sjtu·2020-07-01 10:42

Macadam自然语言处理(NLP)工具包(TextClassification, SequenceLabeling, RelationExtraction)

支持RANDOM、WORD2VEC、FASTTEXT、BERT、ALBERT、ROBERTA、NEZHA、XLNET、ELECTRA、GPT-2等EMBEDDING嵌入;支持FineTune、FastText
Macropodus·2020-07-01 04:14

BERT大魔王为何在商业环境下碰壁？

作者|OrenPereg翻译|NewBeeNLP写在前面大型基于Transformer的神经网络，例如BERT，GPT和XLNET，最近在许多NLP任务中取得了最新的成果。
zenRRan·2020-07-01 03:48

[预训练语言模型专题] XLNet：公平一战！多项任务效果超越BERT

本文为预训练语言模型专题的第14篇。快速传送门1-4:[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart]13：[跨语种模型]感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我
yang191919·2020-06-30 05:02

跨域预训练语言模型(XLM)

目前多数语言模型都是单语义（monolingual）模型，比如BERT、XLNET、google的T5等等。
Cbird-coder·2020-06-30 04:06

【面试必备】奉上最通俗易懂的XGBoost、LightGBM、BERT、XLNet原理解析

一只小狐狸带你解锁炼丹术&NLP秘籍在非深度学习的机器学习模型中，基于GBDT算法的XGBoost、LightGBM等有着非常优秀的性能，校招算法岗面试中“出镜率”非常高。这些经典的机器学习算法不仅是数据科学竞赛神器，在工业界中也被广泛地使用。Microstrong最近就负责使用GBDT、XGBoost等集成模型做推荐系统的点击率预估（CTR），如果让我当面试官面试自己，那我会由浅入深依次考察：G
夕小瑶·2020-06-30 02:12

预训练语言模型整理（ELMo/GPT/BERT...）

GPT2GPT细节微调GPT2优缺点BERTBERT的预训练输入表征Fine-tunninng缺点ELMo/GPT/BERT对比，其优缺点BERT-wwmRoBERTaERNIE(艾尼)1.0ERNIE2.0XLNet
weixin_44626980·2020-06-29 14:18

【简单理解】XLNet

【简单理解】XLNet1.简单介绍XLNetXLNet是一个通过排列语言模型实现双向上下文信息的自回归模型。它通过随机排列输入序列而预测某个位置可能出现的词，进而训练出具有上下文的语境化词向量。
雾行·2020-06-29 12:04

XLNet预训练模型，看这篇就够了！(代码实现)

文章目录1.什么是XLNet2.自回归语言模型（AutoregressiveLM）3.自编码语言模型（AutoencoderLM）4.XLNet模型4.1排列语言建模（PermutationLanguageModeling
mantchs·2020-06-29 01:45

预训练模型（2）---- Transformer-XL&GPT2&XLNet

Transformer-XL三大优势Transformer-XL计算过程2.GPT2语言模型GPT-2模型概述输入模型表示方法模型修改部分GPT-2与Bert的区别Transformer模块的演进过程GPT-2深入剖析3.XLNet
小小鸟要高飞·2020-06-28 21:03

TPU (灵魂三问 WHAT? WHY? HOW?)

本文长度为5986字，45图表截屏建议阅读30分钟0引言从2018年10月到2019年6月，NLP三大模型横空出世，分别是Google的BERT，OpenAI的GPT-2和CMU和Google联手的XLNet
weixin_38753422·2020-06-28 21:28

循环智能：发明了原创国际前沿的自然语言理解算法XLNet | 百万人学AI评选

2020无疑是特殊的一年，而AI在开年的这场”战疫“中表现出了惊人的力量。站在“新十年”的起点上，CSDN【百万人学AI】评选活动正式启动。本届评选活动在前两届的基础上再度升级，设立了「AI优秀案例奖Top30」、「AI新锐公司奖Top10」、「AI开源贡献奖Top5」三大奖项。我们相信，榜样的力量将成为促进AI行业不断发展的重要基石，而CSDN将与这些榜样一起，助力AI时代的”新基建“。活动官网
Top30+评选·2020-06-28 20:23

Xlnet句向量实现(embedding)与句子相似度计算

一.Xlnet概述Xlnet是bert预训练模型之后NLP领域的又一重大进展，它充分吸收了Bert的双向语言模型(自编码-MaskLM机制)、预训练+Finetun机制(Transformer特征抽取)
Macropodus·2020-06-26 05:25

Bert和Albert、XLNet的前世今生

ELMO、GPT、Bert三者之间千丝万缕的关系，时代在发展，论文在更新，工具在进步，站在巨人(Bert)的肩膀上，出现了一系列的后Bert模型，一个比一个强大，本文着重讲解其中的佼佼者-Albert和XLNet
谈笑风生...·2020-06-25 17:47

调用预训练好的XLnet词向量

调用XLnet模型训练好的词向量做W2V的方法如下：1.pipinstallpytorch_transformers2.下载预训练模型3.如下Getw2v()代码块获取词向量4.使用词向量进行其他后续操作
夏离·2020-06-25 09:02

XLNet详解

在本文中，我们重点介绍比BERT更强大的预训练模型XLNet，它为了达到真正的双向学习，采用了Permutation语言模型、以及使用了双流自注意力机制，并结合了Transformer-XL的相对位置编码
Xu_Wave·2020-06-25 01:00

XLNet与Bert

XLNet值得读的文章：XLNet原理解读XLNet:运行机制及和Bert的异同比较XLNet的Transformers的pytorch实现中，几个关于各种mask的参数讲解：forward(input_ids
风吹草地现牛羊的马·2020-06-24 14:57

Transformers库简单使用

pytorch-transformersandpytorch-pretrained-bert）,提供了很多SOTA的预训练模型，比如BERT,GPT-2,RoBERTa,XLM,DistilBert,XLNet
风吹草地现牛羊的马·2020-06-24 14:57

免费直播公开课 | 图卷积神经网络, BERT, 对话生成，知识图谱

自从今年二月份举办的火爆的BERT、XLNet专题课以来，已经三个月没有跟大家见面了。
风度78·2020-06-23 07:42

对Transformer，XLNet，ALBERT等技术仍然一知半解？再不学习就OUT了！

NLP领域的现状以及AI工程师面临的严峻挑战在过去几年时间里，NLP领域取得了飞速的发展，这也推动了NLP在产业中的持续落地，以及行业对相关人才的需求。虽然，NLP的崛起滞后CV多年，但目前的势头还是势不可挡。但这里我们要面对的现实是，行业上90%以上的NLP工程师是“不合格的”。在过去几个月时间里，我们其实也面试过数百名已经在从事NLP的工程师，但明显发现绝大部分对技术深度和宽度的理解是比较薄弱
demm868·2020-06-23 03:39

你真的懂XLNet吗？

你真的懂XLNet吗？一、概述  近日，随着GPT-3模型的新鲜出炉，NLP领域似乎正朝着“烧钱+烧数据”的方向一去不返。
c-minus·2020-06-23 00:16

自回归、自编码语言模型在预训练模型中的应用

关于语言模型(自回归AR和自编码AE)如何结合特征提取器（LSTM和Transformer）的词表征模型（词向量的预训练模型），如ELMO、GPT、BERT、XLNET等，论文AnintroductionofDeepLearningBasedWordRepresentationAppliedtoNaturalLanguageProcessing
木木舟Lorenzo·2020-06-22 23:44

使用xlnet实现中文文本分类 超详细（附代码）

**使用xlnet实现中文文本分类**1、下载xlnet代码https://github.com/zihangdai/xlnet2、下载xlnet中文预训练模型https://github.com/ymcui
小白鸽breeze·2020-06-22 23:59

【总结向】预训练模型小结

大纲1语言模型2XLNetXLNET好处XLNet创新点应用3Transformer-xl3.1segment-levelrecurrencemechanism3.2relativepositionalencoding4Bert
changreal·2020-06-22 21:48

NLP预训练模型2 -- BERT详解和源码分析

综述NLP预训练模型2–BERT详解和源码分析NLP预训练模型3–预训练任务优化（ERNIE、SpanBERT）NLP预训练模型4–训练方法优化（RoBERTa、T5）NLP预训练模型5–模型结构优化（XLNet
谢杨易·2020-06-22 20:38

深度学习预训练模型可解释性概览

©PaperWeekly原创·作者｜蔡杰学校｜北京大学硕士生研究方向｜问答系统近年来预训练模型（ELMo,GPT,BERT,XLNet,ALBERT等）给许多NLP任务带来了显著的改进，但是有一个问题一直困扰着大家
PaperWeekly·2020-06-22 19:50

对GCN,Transformer， XLNet, ALBERT, CRF等技术仍然一知半解？再不学习就OUT了！

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
机器学习算法那些事·2020-06-22 13:49

有趣的深度学习——使用 BERT 实现一个古体诗生成器

而现在说到NLP，就很难绕开Transformers系列模型，譬如BERT、GPT-2、RoBERTa、ALBERT、XLNet等等。
笔墨留年·2020-06-22 11:37

华为全栈人工智能-AI发展新趋势

从目前的情况来看，从OPENAI的GPT-2到谷歌的XLNET、ALBERT以及百度的ERNIE，人工智能的模型迭代速度越来越快，但是模型的参数规模与训练成本也随之水涨船高，平均刷榜模型的训练成本都高达数十万人民币之巨
beyondma·2020-06-21 17:24

Pretraning in NLP（预训练ELMo，GPT，BERT，XLNet）

图像中的Pretraning往往是在大规模图像集上进行训练后，再在特定的任务上进行fine-turning。而nlp领域的fine-turning就是wordembedding了。而词嵌入（例如word2vec，GloVe）通常是在一个较大的语料库上利用词的共现统计预训练得到的。例如king和queen上下文时常相同或相似，所以词向量相似，在向量空间中词距离很近。但是word2vec在训练完毕后，
上杉翔二·2020-06-21 05:33

xlnet中文文本分类

  XLNetXLNetXLNet模型由卡内基梅隆大学与GoogleBrainGoogleBrainGoogleBrain团队在2019年6月携手推出的，其在20项NLPNLPNLP任务中超过BERTBERTBERT模型，且在其中18项任务中拿到最优成绩，包括机器问答、自然语言推断、情感分析和文档排序等。同BERTBERTBERT一样，我这里就不讲原理了，网上各种博客对XLNetXLNetXLNe
未名湖畔的落叶·2020-06-21 02:41

深度学习之文本分类模型-基于transformer

目录1、transformer2、GPT3、bert4、RoBERTa5、ALBERT6、spanBert7、xlnet1、transformertransformer就是大名鼎鼎的论文《AttentionIsAllYouNeed
空空如也_stephen·2020-06-17 10:00

新词发现

对于NLP应用来讲,机器/模型没处理过的词就是"未登录词",更简单来讲,就算是时下流行的Bert,XLNet,Ernie等等,都不解决"未登录词"的Encoding问题。
京漂的小程序媛儿·2020-06-11 11:24

Transformer相关的各种预训练模型优点缺点对比总结与资料收集(Transformer/Bert/Albert/RoBerta/ERNIE/XLnet/ELECTRA）

文章目录1、Transfomer基础资料基本结构singleattention和multiHeadattentionattentionmulti-headattentionself-attentionencoder和decoderAdd&NormPosition-wiseFeed-ForwardNetworks（Relu）WeightTyingNormalizationdecodermaskOpt
qq_33998728·2020-05-08 13:00

【NLP面试QA】预训练模型

BertBert中的预训练任务MaskedLanguageModelNextSentencePredictionBert的EmbeddingBERT-wwmRoberta与Bert的区别ERNIE与Bert的区别XLNet
西多士NLP·2020-03-29 00:00

华为诺亚方舟开源预训练模型“哪吒”，4项任务均达到SOTA

出品|AI科技大本营（ID:rgznai100）BERT之后，新的预训练语言模型XLnet、RoBERTa、ERNIE不断推出，这次，华为诺亚方舟实验室开源了基于BERT的中文预训练语言模型NEZHA（
AI科技大本营·2020-03-22 13:12

人工智能自动写作软件基于通用预训练方法MASS

通过使用BERT、GPT和XLNet等通用语言模型自动写作软件，该领域的研究人员在自然语言理解方面取得了许多重大突破。然而，这些主流的预训练方法并没有给自然语言生成任务带来显著的改进。
跑得快·2020-01-14 13:00

XLNet预训练模型，看这篇就够了！(代码实现)

总之，XLNet是一种通用的自回归预训练方法。
mantch·2019-11-30 20:32

预训练语言模型整理（ELMo/GPT/BERT...）

GPT2GPT细节微调GPT2优缺点BERTBERT的预训练输入表征Fine-tunninng缺点ELMo/GPT/BERT对比，其优缺点BERT-wwmRoBERTaERNIE(艾尼)1.0ERNIE2.0XLNet
西多士NLP·2019-11-28 11:00
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他