XLNet

BERT，XLNET分词方法bpe，unigram等介绍

BERT,XLNET等分词方法先给一个结论吧，BERT使用的是wordpiece的分词方法，XLNET和transformer-xl使用的是sentencepiece的切分方法。
彭伟_02·2020-12-20 22:15

pytorch resnet50预训练模型_最强NLP预训练模型库PyTorchTransformers正式开源！支持6个预训练框架，27个预训练模型...

该项目支持BERT、GPT、GPT-2、Transformer-XL、XLNet、XLM等，并包含了27个预训练模型。
weixin_39663360·2020-11-27 00:38

论文阅读--《K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters》

关键词：预训练模型，knowledge-EnhancedPLM,1.背景及问题描述通过大数据量训练得到的预训练语言模型，比如BERT、GPT、XLNet等，再对于特定的任务做fine-tuning，或者通过多任务的方式来个更新模型的全部权重
ColdCoder·2020-11-11 16:28

UNIF: 自然语言处理联合框架

轻便、易使用的自然语言处理联合框架，帮你快速搭建各类常用深度学习模型(Transformer,GPT-2,BERT,ALBERT,UniLM,XLNet,ELECTRA)，同时对于BERT系列，支持高效用的蒸馏
luv_dusk·2020-10-09 21:10

XLNet原理详解

XLNet原理详解1.什么是XLNet2.自回归语言模型（AutoregressiveLM）3.自编码语言模型4.XLNet模型4.1排列语言模型（permutationlanguageModeling
闲看蒹葭·2020-09-16 23:47

BERT预训练模型字向量提取工具--使用BERT编码句子

（1）Embedding-as-servicegithub这个库类似于bert-as-service,可以将句子编码成固定长度的向量，目前支持的预训练模型有BERT、ALBERT、XLNet、ELMO、
broccoli2·2020-09-16 21:42

读8篇论文，梳理BERT相关模型进展与反思

随后涌现了一大批类似于“BERT”的预训练（pre-trained）模型，有引入BERT中双向上下文信息的广义自回归模型XLNet，也有改进BERT训练方式和目标的RoBERTa和SpanBERT，还有结合多任务以及知识蒸馏
AI科技大本营·2020-09-14 18:09

Google Bert 框架简单蒸馏实践

预训练语言模型（PLM），例如BERT、XLNet、RoBERTa在许多NLP任务中都取得了巨大的成功。但是，PLM通常具有大量的参数，并且需要较长的推断时间，因此很难在移动设备上进行部署。
clvsit·2020-09-14 18:43

NLP预训练模型4 -- 训练方法优化（RoBERTa、T5）

综述NLP预训练模型2–BERT详解和源码分析NLP预训练模型3–预训练任务优化（ERNIE、SpanBERT）NLP预训练模型4–训练方法优化（RoBERTa、T5）NLP预训练模型5–模型结构优化（XLNet
谢杨易·2020-09-14 01:10

完全图解GPT-2：看完这篇就够了（一）

在过去的一年中，BERT、TransformerXL、XLNet等大型自然语言处理模型轮番在各大自然语言处理任务排行榜上刷新最佳纪录，可谓你方唱罢我登场。
chvalrous·2020-09-12 08:04

REALM: Retrieval-Augmented Language Model Pre Training 解读

知识就是力量培根背景去年可以说是语言模型快速发展的一年，BERT、XLNET、Albert等等模型不断刷新各个NLP榜单。在NLP榜单中比较引人注目的应该属于阅读理解型的任务，例如SQuAD等等。
远皓·2020-09-11 23:28

文本分类(三) | (6) 番外篇(预训练语言模型的另一种使用方式)

完整项目(番外篇)本篇博客也是对Github优秀文本分类项目的解析，该文本分类项目，主要基于预训练语言模型，包括bert、xlnet、bert/xlnet+CNN/GRU/LSTM、Albert等，使用
CoreJT·2020-09-11 22:47

预训练模型（5）---- SpanBERT&RoBERTa&ERNIE2

比较小众的预训练模型1.SpanBERT2.RoBERTa3.ERNIE2本文主要介绍一些比较小众的预训练模型，这些模型不像Bert、XLNet等那么有影响力，都是在这些模型的基础上做的相关改进工作，但是这些工作可以引导我们学会如何优化模型
小小鸟要高飞·2020-09-10 20:01

BERT大魔王为何在商业环境下碰壁？

翻译|NewBeeNLP写在前面大型基于Transformer的神经网络，例如BERT，GPT和XLNET，最近在许多NLP任务中取得了最新的成果。
文文学霸·2020-09-10 12:34

nlp中的预训练语言模型总结(单向模型、BERT系列模型、XLNet)

本文转载自JayLou娄杰，知乎专栏《高能NLP》作者，已与原作者取得联系，已获授权。原文地址：https://zhuanlan.zhihu.com/p/76912493https://zhuanlan.zhihu.com/p/115014536本文以QA形式总结对比了nlp中的预训练语言模型，主要包括3大方面、涉及到的模型有：单向特征表示的自回归预训练语言模型，统称为单向模型：ELMO/ULMF
从流域到海域·2020-09-09 21:03

最火的几个全网络预训练模型梳理整合（BERT、ALBERT、XLNet详解）

前言过去两年可谓是NLP领域的高光年，自从18年BERT提出，狂刷了11项下游任务的记录之后，全网络预训练模型开启了NLP嵌入表示的新时代，真正意义上实现了自然语言处理的迁移学习。作为一个刚入坑没多久的白中白，真心感叹自己接触太晚，但是又愁于感天动地的英文阅读能力，再加上原论文有些语句的描述实在是晦涩难懂，在翻阅大量博客和视屏之后，总算花了一整天时间，把过去几年最火的几个模型原理大致梳理明白了。借
WhlittLou·2020-08-24 04:50

预训练模型（4）---- ALBert

什么是XLNet?为什么要提出ALBERT？
小小鸟要高飞·2020-08-24 03:25

【论文解读】XLNet: Generalized Autoregressive Pretraining for Language Understanding

文章目录引言提出的方法背景目标：排列语言模型结构：基于目标感知的双流注意力融合Transformer-XL多句建模讨论Reference:1.XLNet:GeneralizedAutoregressivePretrainingforLanguageUnderstanding2
十里清风·2020-08-24 02:38

独家 | 基于知识蒸馏的BERT模型压缩

在过去一年里，语言模型的研究有了许多突破性的进展，比如GPT用来生成的句子足够以假乱真[1]；BERT,XLNet,RoBERTa[2,3,4]等等作为特征提取器更是横扫各大NLP榜单。
数据派THU·2020-08-23 07:25

16项中英文任务表现超越BERT和XLNet

继1.0后，ERNIE英文任务方面取得全新突破，在共计16个中英文任务上超越了BERT和XLNet,取得了SOTA效果。目前，百度ERNIE2.0的Fine-
百度NLP·2020-08-20 22:06

16项中英文任务表现超越BERT和XLNet

继1.0后，ERNIE英文任务方面取得全新突破，在共计16个中英文任务上超越了BERT和XLNet,取得了SOTA效果。目前，百度ERNIE2.0的Fine-
百度NLP·2020-08-20 22:06

xlnet

Autoregressive和Autoencoding假设输入序列为$(w_1,w_2,w_3,w_4,w_5)$。Autoregressiveautoregressive模型使用前t-1个单词预测第t个单词，目标函数如下，$$\max_{\theta}\logp_{\theta}(\mathbf{x})=\sum_{t=1}^{T}\logp_{\theta}(x_t|\mathbf{x}_{t
AGUILLER·2020-08-20 17:42

xlnet

Autoregressive和Autoencoding假设输入序列为$(w_1,w_2,w_3,w_4,w_5)$。Autoregressiveautoregressive模型使用前t-1个单词预测第t个单词，目标函数如下，$$\max_{\theta}\logp_{\theta}(\mathbf{x})=\sum_{t=1}^{T}\logp_{\theta}(x_t|\mathbf{x}_{t
AGUILLER·2020-08-20 17:42

NLP-5：XLNET

目录1.Unsupervisedpre-training2.AutogressivevsAuto-encoding3.PermutationLanguageModel目标：改进Auto-regressive为双向（Permutation）改进总结4.Two-streamselfAttention5.summary以下内容来自贪心学院NLP直播课。简介：BERT本身很有效，但它本身也存在一些问题比如
JL_Jessie·2020-08-19 02:44

关于xlnet的一些理解

两大阵营之间，发展出来了xlnet.xlnet常搜到的一句话就是：最大化所有可能的序列的因式分解顺序的期
anthea_luo·2020-08-18 14:00

图解gpt-2

47来源:机器之心Pro原标题：完全图解GPT-2：看完这篇就够了（一）选自github.io作者：JayAlammar参与：郭元晨、GeekAI在过去的一年中，BERT、TransformerXL、XLNet
stay_foolish12·2020-08-18 02:23

数据科学竞赛-自然语言处理赛流程

过去几年我们也看到了NLP领域很多突破性的成果，BERT、XLNet等模型的出现为NLP带来一些新的可能性，这些模型也被广泛使用在比赛
周先森爱吃素·2020-08-16 17:46

NLP预训练模型1 -- 综述

综述NLP预训练模型2–BERT详解和源码分析NLP预训练模型3–预训练任务优化（ERNIE、SpanBERT）NLP预训练模型4–训练方法优化（RoBERTa、T5）NLP预训练模型5–模型结构优化（XLNet
谢杨易·2020-08-15 03:18

系统学习NLP（三十二）--BERT、XLNet、RoBERTa、ALBERT及知识蒸馏

参考：https://zhuanlan.zhihu.com/p/84559048一.BERTBERT是一种基于TransformerEncoder来构建的一种模型，它整个的架构其实是基于DAE(DenoisingAutoencoder)的，这部分在BERT文章里叫作MaskedLanaugeModel（MLM)。MLM并不是严格意义上的语言模型，因为整个训练过程并不是利用语言模型方式来训练的。BE
Eason.wxd·2020-08-14 15:27

贪心学院从BERT到XLNET

张俊林的详细解释在b站看贪心学院最后一节课从BERT到XLNET的分享上面PPT可以看到1.XLNET是Autoregressive模型而BERT是Auto-encoding模型,两种模型的对比解释见https
FIXLS·2020-08-13 13:46

贪心学院NLP自然语言处理训练营第六期

自然语言处理无非是目前最大的风口，从Word2Vec、ElMo、GPT、Bert到XLNet,我们见证了这个领域的高速发展以及未来的前景。
Q2118825998·2020-08-13 12:03

转：【NLP神器】GitHub超9千星：一个API调用六种架构，27个预训练模型

只需一个API，直接调用BERT,GPT,GPT-2,Transfo-XL,XLNet,XLM等6大框架，包含了27个预训练模型。简单易用，功能强大。
szZack·2020-08-06 13:33

OpenAI-GPT（Generative Pre-Training）详解

（需要注意的是，ELMo先出现的，然后是GPT）GPT出现之后，引发了Bert，XLNet等一系列的地震式改进。对NLP任务的影响十分深远。
Xu_Wave·2020-08-06 12:17

【DL】模型蒸馏Distillation

过去一直follow着transformer系列模型的进展，从BERT到GPT2再到XLNet。
段子手实习生·2020-08-06 12:13

一文读懂最强中文NLP预训练模型ERNIE

基于飞桨开源的持续学习的语义理解框架ERNIE2.0，及基于此框架的ERNIE2.0预训练模型，在共计16个中英文任务上超越了BERT和XLNet,取得了SOTA效果。
永胜永胜·2020-08-06 12:41

冲击SuperGLUE：基于多任务与对抗训练的Finetune方案解析

PaperWeekly原创·作者｜FrankLuo单位｜追一科技AILab研究员研究方向｜自然语言处理前言英文通用语言理解评测基准GLUE[1]自提出以来，吸引了一大批预训练语言模型(BERT[2]，XLNET
PaperWeekly·2020-08-06 12:29

完全图解GPT-2：看完这篇就够了（一）

在过去的一年中，BERT、TransformerXL、XLNet等大型自然语言处理模型轮番在各大自然语言处理任务排行榜上刷新最佳纪录，可谓你方唱罢我登场。
维尼弹着肖邦的夜曲·2020-08-04 08:51

(含源码)「自然语言处理(NLP)」RoBERTa&&XLNet&&语言模型&&问答系统训练

来源:AINLPer微信公众号（每日更新…）编辑:ShuYini校稿:ShuYini时间:2020-07-27引言：本次内容主要包括：稳健优化Bert模型（RoBERTa）、自回归预训练模型（XLNet
yinizhilianlove·2020-08-01 08:27

从BERT、XLNet到MPNet，细看NLP预训练模型发展变迁史

MLM简述1.1MaskedLanguageModel&NextSentencePredict**1.2Self-Attention1.3DenoisingAutoEncoder1.4BERT缺点2.XLNet
郝伟老师的技术博客·2020-07-30 19:14

一文读懂最强中文NLP预训练模型ERNIE

，基于飞桨开源的持续学习的语义理解框架ERNIE2.0，及基于此框架的ERNIE2.0预训练模型，在共计16个中英文任务上超越了BERT和XLNet,取得了SOTA效果。
飞桨PaddlePaddle·2020-07-29 16:54

15 分钟搭建一个基于XLNET的文本分类模型——keras实战

今天笔者将简要介绍一下后bert时代中一个又一比较重要的预训练的语言模型——XLNET，下图是XLNET在中文问答数据集CMRC2018数据集（哈工大讯飞联合实验室发布的中文机器阅读理解数据，形式与SQuAD
文宇肃然·2020-07-28 23:39

Bert在keras的实现

BidirectionalEncoderRepresentationsfromTransformer)预训练模型在近期的NLP非常火爆，它的微调在各种NLP任务(GLUE,MultiNLI，SQuAD等评价基准和数据集）中达到最优，直到XLNet
Howyi·2020-07-27 17:15

XLNet论文解读+部分代码解读

目录XLNetGeneralizedAutoregressivePretraining1.Motivation2.自回归语言模型和自编码语言模型2.1自回归语言模型2.2自编码语言模型3.XLNet的主要改进
kejizuiqianfang·2020-07-16 01:44

飞跃芝麻街：XLNet 详解

看到这个消息的瞬间，不由自主地在座位上直接喊了出来，大家纷纷转过头来询问，之后分享出论文链接，突然整个组就没了声音，我知道大家都在和我一样，认真读着XLNet的论文，都想参与这或许会见证历史的时刻，知道到底发生了什么
Congqing He·2020-07-15 23:32

XLNet详解

XLNet是一个类似BERT的模型，而不是完全不同的模型。总之，XLNET是一种通用的自回归预训练方法。
NLP之美·2020-07-15 15:53

Transformer, BERT, ALBERT, XLNet全面解析(ALBERT第一作者亲自讲解）

现在是国家的非常时期，由于疫情各地陆续延迟复工，以及各大院校延期开学。作为一家AI教育领域的创业公司，我们希望在这个非常时期做点有价值的事情，并携手共渡难关。在疫情期间，我们决定联合国内外顶尖AI专家一起筹划”共同战疫，贪心在行动“的计划，提供重磅级NLP专题系列直播课程，共五次课程，为期两周时间，供大家在线学习，全程免费。????NLP专题课????这次的专题我们选择了近几年NLP领域最火的，你
视学算法·2020-07-15 12:33

xlnet

Autoregressive和Autoencoding假设输入序列为$(w_1,w_2,w_3,w_4,w_5)$。Autoregressiveautoregressive模型使用前t-1个单词预测第t个单词，目标函数如下，$$\max_{\theta}\logp_{\theta}(\mathbf{x})=\sum_{t=1}^{T}\logp_{\theta}(x_t|\mathbf{x}_{t
AGUILLER·2020-07-13 22:22

sentencepiece原理与实践

1前言前段时间在看到XLNET，Transformer-XL等预训练模式时，看到源代码都用到sentencepiece模型，当时不清楚。
烛之文·2020-07-13 21:58

Pytorch之Bert文本分类(三)

这个文件中包括5个模型的使用，bert,xlnet,xlm,roberta,distilbertMODEL_CLASSES={'bert':(BertConfig,BertForSequenceClassification
SZU_Hadooper·2020-07-10 23:21

捋一捋XLNet

最近花了几天时间研究了下XLNet的源码和论文，它于2019年6月问世，是NLP(NaturalLanguageProcessing，自然语言处理)领域中的一个语言模型，通俗一点理解它就是一个让机器做阅读理解的算法
小笨狗leo·2020-07-10 00:16
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他