E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
xlnet
16项中英文任务表现超越BERT和
XLNet
欢迎关注【百度NLP】官方微信公众号,及时获取更多自然语言处理领域的技术干货!阅读原文:https://mp.weixin.qq.com/s/43UBYDpYd4pd3fZXYPJWUw2019年3月,百度正式发布NLP模型ERNIE,其在中文任务中全面超越BERT一度引发业界广泛关注和探讨。今天,经过短短几个月时间,百度ERNIE再升级。发布持续学习的语义理解框架ERNIE2.0,及基于此框架的
百度-NLP
·
2020-07-06 11:58
自然语言处理
自然语言处理
绝对干货!NLP预训练模型:从transformer到albert
gpt在auto-regressive的路上一路走到黑,而
xlnet
将gpt和bert的优点结合在了一起,然后用更更大的数据吊打了bert。没过多久,bert的增强版roberta
mishidemudong
·
2020-07-05 15:54
【NLP】ALBERT:更轻更快的NLP预训练模型
目前在NLP领域,出彩的预训练模型的新工作,几乎都是基于BERT的改进,前面我们就介绍了
XLNET
。今天我来介绍一个更新的工作,相比于BERT,它更轻量,效果也要好。
言有三
·
2020-07-04 17:39
【NLP】BERT大魔王为何在商业环境下碰壁?
作者|OrenPereg翻译|NewBeeNLP写在前面大型基于Transformer的神经网络,例如BERT,GPT和
XLNET
,最近在许多NLP任务中取得了最新的成果。
风度78
·
2020-07-04 15:41
ELECTRA:超越BERT,2019年最佳NLP预训练模型
作者|李如来源|NLPCAB(ID:rgznai100)【导读】BERT推出这一年来,除了
XLNet
,其他的改进都没带来太多惊喜,无非是越堆越大的模型和数据,以及动辄1024块TPU,让工程师们不知道如何落地
AI科技大本营
·
2020-07-04 14:04
XLNet
作者杨植麟:超越BERT,用AI 赋能企业销售
本期Robin.lyAI访谈特邀Recurrent.ai的联合创始人、CMU博士杨植麟博士,介绍了他们团队共同发明的
XLNet
算法,以及他和他的团队
Robin.ly
·
2020-07-04 07:57
【完结】 12篇文章带你完全进入NLP领域,掌握核心技术
在本专栏中,我们从NLP中常用的机器学习算法开始,介绍了NLP中常用的算法和模型;从朴素贝叶斯讲到
XLnet
,特征抽取器从RNN讲到transformerXL。这篇文章我们就一起回顾一下这些文章。
言有三
·
2020-07-04 00:39
为什么BERT在商业环境碰壁?
大型基于Transformer的神经网络,例如BERT,GPT和
XLNET
,最近在许多NLP任务中取得了最新的成果。
kaiyuan_sjtu
·
2020-07-01 10:42
NLP
Macadam自然语言处理(NLP)工具包(TextClassification, SequenceLabeling, RelationExtraction)
支持RANDOM、WORD2VEC、FASTTEXT、BERT、ALBERT、ROBERTA、NEZHA、
XLNET
、ELECTRA、GPT-2等EMBEDDING嵌入;支持FineTune、FastText
Macropodus
·
2020-07-01 04:14
Macadam
nlp
自然语言处理
python
深度学习
BERT大魔王为何在商业环境下碰壁?
作者|OrenPereg翻译|NewBeeNLP写在前面大型基于Transformer的神经网络,例如BERT,GPT和
XLNET
,最近在许多NLP任务中取得了最新的成果。
zenRRan
·
2020-07-01 03:48
[预训练语言模型专题]
XLNet
:公平一战!多项任务效果超越BERT
本文为预训练语言模型专题的第14篇。快速传送门1-4:[萌芽时代]、[风起云涌]、[文本分类通用技巧]、[GPT家族]5-8:[BERT来临]、[浅析BERT代码]、[ERNIE合集]、[MT-DNN(KD)]9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart]13:[跨语种模型]感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理,我
yang191919
·
2020-06-30 05:02
朴素人工智能
跨域预训练语言模型(XLM)
目前多数语言模型都是单语义(monolingual)模型,比如BERT、
XLNET
、google的T5等等。
Cbird-coder
·
2020-06-30 04:06
深度学习相关
【面试必备】奉上最通俗易懂的XGBoost、LightGBM、BERT、
XLNet
原理解析
一只小狐狸带你解锁炼丹术&NLP秘籍在非深度学习的机器学习模型中,基于GBDT算法的XGBoost、LightGBM等有着非常优秀的性能,校招算法岗面试中“出镜率”非常高。这些经典的机器学习算法不仅是数据科学竞赛神器,在工业界中也被广泛地使用。Microstrong最近就负责使用GBDT、XGBoost等集成模型做推荐系统的点击率预估(CTR),如果让我当面试官面试自己,那我会由浅入深依次考察:G
夕小瑶
·
2020-06-30 02:12
预训练语言模型整理(ELMo/GPT/BERT...)
GPT2GPT细节微调GPT2优缺点BERTBERT的预训练输入表征Fine-tunninng缺点ELMo/GPT/BERT对比,其优缺点BERT-wwmRoBERTaERNIE(艾尼)1.0ERNIE2.0
XLNet
weixin_44626980
·
2020-06-29 14:18
【简单理解】
XLNet
【简单理解】
XLNet
1.简单介绍XLNetXLNet是一个通过排列语言模型实现双向上下文信息的自回归模型。它通过随机排列输入序列而预测某个位置可能出现的词,进而训练出具有上下文的语境化词向量。
雾行
·
2020-06-29 12:04
自然语言处理
XLNet
预训练模型,看这篇就够了!(代码实现)
文章目录1.什么是
XLNet
2.自回归语言模型(AutoregressiveLM)3.自编码语言模型(AutoencoderLM)4.
XLNet
模型4.1排列语言建模(PermutationLanguageModeling
mantchs
·
2020-06-29 01:45
machine
learning
预训练模型(2)---- Transformer-XL&GPT2&
XLNet
Transformer-XL三大优势Transformer-XL计算过程2.GPT2语言模型GPT-2模型概述输入模型表示方法模型修改部分GPT-2与Bert的区别Transformer模块的演进过程GPT-2深入剖析3.
XLNet
小小鸟要高飞
·
2020-06-28 21:03
自然语言处理
预训练模型
TPU (灵魂三问 WHAT? WHY? HOW?)
本文长度为5986字,45图表截屏建议阅读30分钟0引言从2018年10月到2019年6月,NLP三大模型横空出世,分别是Google的BERT,OpenAI的GPT-2和CMU和Google联手的
XLNet
weixin_38753422
·
2020-06-28 21:28
循环智能:发明了原创国际前沿的自然语言理解算法
XLNet
| 百万人学AI评选
2020无疑是特殊的一年,而AI在开年的这场”战疫“中表现出了惊人的力量。站在“新十年”的起点上,CSDN【百万人学AI】评选活动正式启动。本届评选活动在前两届的基础上再度升级,设立了「AI优秀案例奖Top30」、「AI新锐公司奖Top10」、「AI开源贡献奖Top5」三大奖项。我们相信,榜样的力量将成为促进AI行业不断发展的重要基石,而CSDN将与这些榜样一起,助力AI时代的”新基建“。活动官网
Top30+评选
·
2020-06-28 20:23
机器学习
自然语言理解
Xlnet
句向量实现(embedding)与句子相似度计算
一.
Xlnet
概述
Xlnet
是bert预训练模型之后NLP领域的又一重大进展,它充分吸收了Bert的双向语言模型(自编码-MaskLM机制)、预训练+Finetun机制(Transformer特征抽取)
Macropodus
·
2020-06-26 05:25
自然语言处理
emmbedding
Bert和Albert、
XLNet
的前世今生
ELMO、GPT、Bert三者之间千丝万缕的关系,时代在发展,论文在更新,工具在进步,站在巨人(Bert)的肩膀上,出现了一系列的后Bert模型,一个比一个强大,本文着重讲解其中的佼佼者-Albert和
XLNet
谈笑风生...
·
2020-06-25 17:47
自然语言处理
调用预训练好的
XLnet
词向量
调用
XLnet
模型训练好的词向量做W2V的方法如下:1.pipinstallpytorch_transformers2.下载预训练模型3.如下Getw2v()代码块获取词向量4.使用词向量进行其他后续操作
夏离
·
2020-06-25 09:02
NLP
XLNet
详解
在本文中,我们重点介绍比BERT更强大的预训练模型
XLNet
,它为了达到真正的双向学习,采用了Permutation语言模型、以及使用了双流自注意力机制,并结合了Transformer-XL的相对位置编码
Xu_Wave
·
2020-06-25 01:00
NLP(包含深度学习)
XLNet
与Bert
XLNet
值得读的文章:
XLNet
原理解读
XLNet
:运行机制及和Bert的异同比较
XLNet
的Transformers的pytorch实现中,几个关于各种mask的参数讲解:forward(input_ids
风吹草地现牛羊的马
·
2020-06-24 14:57
NLP
机器学习
Transformers库简单使用
pytorch-transformersandpytorch-pretrained-bert),提供了很多SOTA的预训练模型,比如BERT,GPT-2,RoBERTa,XLM,DistilBert,
XLNet
风吹草地现牛羊的马
·
2020-06-24 14:57
pytorch
机器学习
NLP
免费直播公开课 | 图卷积神经网络, BERT, 对话生成,知识图谱
自从今年二月份举办的火爆的BERT、
XLNet
专题课以来,已经三个月没有跟大家见面了。
风度78
·
2020-06-23 07:42
对Transformer,
XLNet
,ALBERT等技术仍然一知半解?再不学习就OUT了!
NLP领域的现状以及AI工程师面临的严峻挑战在过去几年时间里,NLP领域取得了飞速的发展,这也推动了NLP在产业中的持续落地,以及行业对相关人才的需求。虽然,NLP的崛起滞后CV多年,但目前的势头还是势不可挡。但这里我们要面对的现实是,行业上90%以上的NLP工程师是“不合格的”。在过去几个月时间里,我们其实也面试过数百名已经在从事NLP的工程师,但明显发现绝大部分对技术深度和宽度的理解是比较薄弱
demm868
·
2020-06-23 03:39
你真的懂
XLNet
吗?
你真的懂
XLNet
吗?一、概述 近日,随着GPT-3模型的新鲜出炉,NLP领域似乎正朝着“烧钱+烧数据”的方向一去不返。
c-minus
·
2020-06-23 00:16
NLP
自然语言处理
XLNet
人工智能
自回归、自编码语言模型在预训练模型中的应用
关于语言模型(自回归AR和自编码AE)如何结合特征提取器(LSTM和Transformer)的词表征模型(词向量的预训练模型),如ELMO、GPT、BERT、
XLNET
等,论文AnintroductionofDeepLearningBasedWordRepresentationAppliedtoNaturalLanguageProcessing
木木舟Lorenzo
·
2020-06-22 23:44
预训练
使用
xlnet
实现中文文本分类 超详细(附代码)
**使用
xlnet
实现中文文本分类**1、下载
xlnet
代码https://github.com/zihangdai/
xlnet
2、下载
xlnet
中文预训练模型https://github.com/ymcui
小白鸽breeze
·
2020-06-22 23:59
【总结向】预训练模型小结
大纲1语言模型2XLNetXLNET好处
XLNet
创新点应用3Transformer-xl3.1segment-levelrecurrencemechanism3.2relativepositionalencoding4Bert
changreal
·
2020-06-22 21:48
NLP
深度学习
NLP预训练模型2 -- BERT详解和源码分析
综述NLP预训练模型2–BERT详解和源码分析NLP预训练模型3–预训练任务优化(ERNIE、SpanBERT)NLP预训练模型4–训练方法优化(RoBERTa、T5)NLP预训练模型5–模型结构优化(
XLNet
谢杨易
·
2020-06-22 20:38
深度学习
nlp
hilbert
transform
自然语言处理
人工智能
深度学习
深度学习预训练模型可解释性概览
©PaperWeekly原创·作者|蔡杰学校|北京大学硕士生研究方向|问答系统近年来预训练模型(ELMo,GPT,BERT,
XLNet
,ALBERT等)给许多NLP任务带来了显著的改进,但是有一个问题一直困扰着大家
PaperWeekly
·
2020-06-22 19:50
对GCN,Transformer,
XLNet
, ALBERT, CRF等技术仍然一知半解?再不学习就OUT了!
谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、
XLNet
、RoBERTa再次刷新了排行榜!
机器学习算法那些事
·
2020-06-22 13:49
有趣的深度学习——使用 BERT 实现一个古体诗生成器
而现在说到NLP,就很难绕开Transformers系列模型,譬如BERT、GPT-2、RoBERTa、ALBERT、
XLNet
等等。
笔墨留年
·
2020-06-22 11:37
机器学习
华为全栈人工智能-AI发展新趋势
从目前的情况来看,从OPENAI的GPT-2到谷歌的
XLNET
、ALBERT以及百度的ERNIE,人工智能的模型迭代速度越来越快,但是模型的参数规模与训练成本也随之水涨船高,平均刷榜模型的训练成本都高达数十万人民币之巨
beyondma
·
2020-06-21 17:24
AI与最新技术演进
人工智能
全栈
Pretraning in NLP(预训练ELMo,GPT,BERT,
XLNet
)
图像中的Pretraning往往是在大规模图像集上进行训练后,再在特定的任务上进行fine-turning。而nlp领域的fine-turning就是wordembedding了。而词嵌入(例如word2vec,GloVe)通常是在一个较大的语料库上利用词的共现统计预训练得到的。例如king和queen上下文时常相同或相似,所以词向量相似,在向量空间中词距离很近。但是word2vec在训练完毕后,
上杉翔二
·
2020-06-21 05:33
深度学习
xlnet
中文文本分类
XLNetXLNetXLNet模型由卡内基梅隆大学与GoogleBrainGoogleBrainGoogleBrain团队在2019年6月携手推出的,其在20项NLPNLPNLP任务中超过BERTBERTBERT模型,且在其中18项任务中拿到最优成绩,包括机器问答、自然语言推断、情感分析和文档排序等。同BERTBERTBERT一样,我这里就不讲原理了,网上各种博客对XLNetXLNetXLNe
未名湖畔的落叶
·
2020-06-21 02:41
深度学习
深度学习之文本分类模型-基于transformer
目录1、transformer2、GPT3、bert4、RoBERTa5、ALBERT6、spanBert7、
xlnet
1、transformertransformer就是大名鼎鼎的论文《AttentionIsAllYouNeed
空空如也_stephen
·
2020-06-17 10:00
新词发现
对于NLP应用来讲,机器/模型没处理过的词就是"未登录词",更简单来讲,就算是时下流行的Bert,
XLNet
,Ernie等等,都不解决"未登录词"的Encoding问题。
京漂的小程序媛儿
·
2020-06-11 11:24
Transformer相关的各种预训练模型优点缺点对比总结与资料收集(Transformer/Bert/Albert/RoBerta/ERNIE/
XLnet
/ELECTRA)
文章目录1、Transfomer基础资料基本结构singleattention和multiHeadattentionattentionmulti-headattentionself-attentionencoder和decoderAdd&NormPosition-wiseFeed-ForwardNetworks(Relu)WeightTyingNormalizationdecodermaskOpt
qq_33998728
·
2020-05-08 13:00
自然语言处理
算法
神经网络
深度学习
【NLP面试QA】预训练模型
BertBert中的预训练任务MaskedLanguageModelNextSentencePredictionBert的EmbeddingBERT-wwmRoberta与Bert的区别ERNIE与Bert的区别
XLNet
西多士NLP
·
2020-03-29 00:00
华为诺亚方舟开源预训练模型“哪吒”,4项任务均达到SOTA
出品|AI科技大本营(ID:rgznai100)BERT之后,新的预训练语言模型
XLnet
、RoBERTa、ERNIE不断推出,这次,华为诺亚方舟实验室开源了基于BERT的中文预训练语言模型NEZHA(
AI科技大本营
·
2020-03-22 13:12
人工智能自动写作软件基于通用预训练方法MASS
通过使用BERT、GPT和
XLNet
等通用语言模型自动写作软件,该领域的研究人员在自然语言理解方面取得了许多重大突破。然而,这些主流的预训练方法并没有给自然语言生成任务带来显著的改进。
跑得快
·
2020-01-14 13:00
XLNet
预训练模型,看这篇就够了!(代码实现)
总之,
XLNet
是一种通用的自回归预训练方法。
mantch
·
2019-11-30 20:32
预训练语言模型整理(ELMo/GPT/BERT...)
GPT2GPT细节微调GPT2优缺点BERTBERT的预训练输入表征Fine-tunninng缺点ELMo/GPT/BERT对比,其优缺点BERT-wwmRoBERTaERNIE(艾尼)1.0ERNIE2.0
XLNet
西多士NLP
·
2019-11-28 11:00
手把手教你用Pytorch-Transformers——部分源码解读及相关说明(一)
一、简介Transformers是一个用于自然语言处理(NLP)的Python第三方库,实现Bert、GPT-2和
XLNET
等比较新的模型,支持TensorFlow和PyTorch。
那少年和狗
·
2019-11-27 20:00
提速1000倍,预测延迟少于1ms,百度飞桨发布基于ERNIE的语义理解开发套件
今年7月,百度发布持续学习语义理解框架ERNIE2.0,在共计16个中英文任务上超越BERT、
XLNET
,取得了SOTA的效果。ERNI
wx5dbbe3b9531ed
·
2019-11-15 23:27
ERNIE
NLP
百度NLP预训练模型ERNIE2.0最强实操课程来袭!【附教程】
继1.0后,ERNIE英文任务方面取得全新突破,在共计16个中英文任务上超越了BERT和
XLNet
,取得了SOTA效果。本篇内容可以说是史上最强实操课程,由浅入深完
百度ERNIE
·
2019-11-08 11:00
百度NLP预训练模型ERNIE2.0最强实操课程来袭!【附教程】
继1.0后,ERNIE英文任务方面取得全新突破,在共计16个中英文任务上超越了BERT和
XLNet
,取得了SOTA效果。本篇内容可以说是史上最强实操课程,由浅入深完
百度ERNIE
·
2019-11-07 23:53
深度学习
nlp
上一页
1
2
3
4
5
6
7
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他