XLNet

BERT 相关资源整理

进行知识蒸馏调节学习率Huggingface简介及BERT代码浅析使用huggingface的Transformers预训练自己的bert模型+FineTuningBERT预训练预训练模型：从BERT到XLNet
暖仔会飞·2022-12-04 07:55

预训练模型（6）---- MASS

MaskedSequencetoSequencePre-trainingforLanguageGeneration摘要引言模型结构统一的预训练框架（包含GPT和Bert）实验结果这是微软亚洲研究院在ICML2019的一篇文章，在NLP任务上超越了Bert、XLNet
小小鸟要高飞·2022-12-02 13:08

相对位置编码之RPR式：《Self-Attention with Relative Position Representations》论文笔记

额，本想学学XLNet的，然后XLNet又是以transformer-XL为主要结构，然后transformer-XL做了两个改进：一个是结构上做了segment-level的循环机制，一个是在attention
#苦行僧·2022-11-30 21:33

从BERT、XLNet到MPNet，细看NLP预训练模型发展变迁史

MLM简述1.1MaskedLanguageModel&NextSentencePredict**1.2Self-Attention1.3DenoisingAutoEncoder1.4BERT缺点2.XLNet
喜欢打酱油的老鸟·2022-11-29 10:05

bert常用基准数据集：GLUE数据集介绍以及数据集资源

像BERT、XLNet、RoBERTa、ERINE、T5等知名模型都会在此基准上进行测试。目前，大家要把预测结果上传到官方的网站上，官方会给出测试的结果。
CharyLiey·2022-11-28 23:48

一文看懂XLNet

XLNet论文推荐语：BERT本身很有效，但它也存在一些问题，比如不能用于生成、以及训练数据和测试数据的不一致（Discrepancy）。
风度78·2022-11-28 14:09

Attention Mechanism[Transformer、Transformer-XL、XLNet]

ContentAttentionMechanism--->聚焦关键点1History2Introduction3structure4applicationsituation5results6RefAttentionisallyouneed---Transformer1摘要2模型框架：Character-LevelLanguageModelingwithDeeperSelf-Attention1模型
小卜妞~·2022-11-27 21:37

自然语言处理(NLP)-模型常用技巧：Mask【Padding Mask、Subsequent Mask】

padding部分，如在RNN等模型和Attention机制中的应用等Subsequentmask：防止标签泄露，如：Transformerdecoder中的mask矩阵，BERT中的[Mask]位，XLNet
u013250861·2022-11-26 17:45

Chapter7-3_BERT and its family - ELMo, BERT, GPT, XLNet, MASS, BART, UniLM, ELECTRA, and more

1Howtopre-train2Predictnexttoken3MaskInput4seq2seq的pre-trainmodel5ELECTRA6SentenceEmbedding本文为李弘毅老师【BERTanditsfamily-ELMo,BERT,GPT,XLNet
zjuPeco·2022-11-25 15:20

【二】BERT and its family

可以跨segment读取的XLNet，对BERT的质疑：打乱输入顺序，不给看mask标记，表现是比较好的。自回归模型状态下，为了
云淡风轻__·2022-11-25 15:14

李宏毅DLHLP.18.BERT and its family.2/2.ELMo,BERT,GPT,XLNet,MASS,BART,UniLM,ELECTRA

文章目录介绍Howtopre-trainContextVector(CoVe)Self-supervisedLearningPredictNextTokenPredictNextToken-BidirectionalMaskingInput几种MASK的方法XLNetMASS/BARTInputCorruptionUniLMELECTRASentenceLevelT5–Comparison挖坑另外
oldmao_2000·2022-11-25 15:41

bert使用

pytorch-transformers和pytorch-pretrained-bert）提供用于自然语言理解（NLU）和自然语言生成（NLG）的BERT家族通用结构（BERT，GPT-2，RoBERTa，XLM，DistilBert，XLNet
Ctrl+C用户·2022-11-25 02:47

NLP发展大事记：顶会，预训练大模型，BERT系列

Transformer,2017.6ELMo，2018.3OpenAIGPT-1，2018.6BERT，Google，2018.10OpenAIGPT-2，15亿参数，2019.1TransformerXL，2019.1XLNET
快乐小码农·2022-11-24 14:56

XLNet(Generalized Autoregressive Pretraining for Language Understanding) 论文笔记

自回归语言模型和自编码语言模型(AR:autoregressive)2.2自编码语言模型(AE:autoencoding)2.两个模型（AR与AE）的优缺点分别为：2.1.独立假设2.2输入噪声2.3双向上下文3.XLNet
茫茫人海一粒沙·2022-11-23 05:43

Pytorch-Bert预训练模型的使用（调用transformers）

pytorch-transformers和pytorch-pretrained-bert）提供用于自然语言理解（NLU）和自然语言生成（NLG）的BERT家族通用结构（BERT，GPT-2，RoBERTa，XLM，DistilBert，XLNet
Douzi1024·2022-11-23 01:39

非常详细的transformer笔记，包括XLNet, MT-DNN, ERNIE, ERNIE2, RoBERTa

华校专老师更新了个人笔记，增加了Transformer笔记，包含XLNet,MT-DNN,ERNIE,ERNIE2,RoBERTa等内容，内容十分详细，非常值得学习，特此推荐。
风度78·2022-11-22 23:26

NLP | XLNet ：用于语言理解的广义自回归预训练 论文详解

论文：XLNet:GeneralizedAutoregressivePretrainingforLanguageUnderstanding论文地址：https://proceedings.neurips.cc
夏天｜여름이다·2022-11-21 21:21

bert和xlnet对关键词embedding

bert的原理我在第一篇论文介绍了，不赘述下面写一下我对bertembedding和XLNetembedding的理解与两者之间的不同bertembedding可选择的预，L表示的是transformer的层数，H表示输出的维度，A表示mutil-headattention的个数训练模型，每一层transformer的输出值，理论上来说都可以作为句向量，但是到底应该取哪一层呢，根据hanxiao大
qq_41824131·2022-11-21 06:06

子空间——bert和xlnet对关键词embedding

bert和xlnet对关键词embeddingbert的原理我在第一篇论文介绍了，不赘述下面写一下我对bertembedding和XLNetembedding的理解与两者之间的不同bertembedding
lw03060402·2022-11-21 05:57

经典论文阅读（9）——XLNET

本文提出了一种广义的自回归预训练方法XLNet，该方法(1)通过最大化所有分解顺序排列的期望似然来实现双向上下文学习，(2)由于其自回归公式，克服了BERT的局限性。此外，XLNet集成
fmf1287·2022-11-20 03:36

Transformer模型详解

wordEmbedding2017年----Transformer2018年----ELMo、Transformer-decoder、GPT-1、BERT2019年----Transformer-XL、XLNet
凌逆战·2022-11-10 16:35

2021年自然语言处理 (NLP) 算法学习路线！

在过去几个月时间里，我们其实也面试过数百名已经在从事NLP的工程师，但明显发现绝大部分对技术深度和宽度的理解是比较薄弱的，大多还是只停留在调用现有工具比如BERT、XLNet等阶段。
PaperWeekly·2022-11-07 21:09

【亚洲微软研究院】带你8篇论文梳理BERT相关模型进展与反思

随后涌现了一大批类似于“BERT”的预训练（pre-trained）模型，有引入BERT中双向上下文信息的广义自回归模型XLNet，也有改进BERT训练方式和目标的RoBERTa和SpanBERT，还有结合多任务
zenRRan·2022-11-01 03:38

8篇论文梳理BERT相关模型进展与反思 | MSRA出品

随后涌现了一大批类似于“BERT”的预训练（pre-trained）模型，有引入BERT中双向上下文信息的广义自回归模型XLNet，也有改进BERT训练方式和目标的RoBERTa和SpanBERT，还有结合多任务以及知识蒸馏
QbitAl·2022-11-01 03:06

提速1000倍，预测延迟少于1ms——百度飞桨基于ERNIE的语义理解开发套件

今年7月份，百度发布持续学习语义理解框架ERNIE2.0，在共计16个中英文任务上超越BERT、XLNET，取得了SOTA的效果。ERNIE2.0发
Cry2engine·2022-10-26 09:58

预训练语言模型

特征表示4个视角，对比预训练语言模型：不同的特征抽取机制RNNs：ELMO/ULMFiT/SiATL；Transformer：GPT1.0/GPT2.0/BERT系列模型；Transformer-XL：XLNet
weixin_44179676·2022-09-29 07:05

自然语言词向量模型：Glove和Bert

自然语言预训练模型：Glove和Bert1.词向量模型2.Glovebert模型bert模型的使用参考资料1.词向量模型词向量模型包括：word2vec、glove、fastText、elmo、GPT和bert、xlnet
二里庄·2022-08-09 07:53

文本分类(三) | (1) 项目介绍(基于预训练语言模型)

本博客还讲解了一种预训练语言模型的通用方法，即使用transformers库，可以将本项目扩展为使用任意的预训练语言模型（包括：albert、xlnet、roberta，t5，gpt等，以及
CoreJT·2022-06-13 07:58

深入浅出语言模型（四）——BERT的后浪们（RoBERTa、MASS、XLNet、UniLM、ALBERT、TinyBERT、Electra）

引言上一节我们讲到了BERT，如果要用一句时下正流行的话来形容BERT的出现，这句话大概再恰当不过：一切过往，皆为序章。Bert出现之后，研究者们开始不断对其进行探索研究，提出来各式的改进版，再各类任务上不断超越Bert。针对Bert的改进，主要体现在增加训练语料、增添预训练任务、改进mask方式、调整模型结构、调整超参数、模型蒸馏等。下面对近年来Bert的改进版本的关键点做叙述。深入浅出语言模型
fond_dependent·2022-05-23 07:34

学习笔记九：BERT和它的小伙伴们

车万翔《基于预训练模型的自然语言处理》读书笔记文章目录1.BERT的可解释性（7.5）1.2自注意力可视化分析（不同注意力头的行为）1.3探针实验二、模型优化1.1XLNet1.1.2排列语言模型的引入
神洛华·2022-05-20 07:53

关于NLP相关技术全部在这里：预训练模型、图神经网络、模型压缩、知识图谱、信息抽取、序列模型、语法分析、文本处理...

在过去几个月时间里，我们其实也面试过数百名已经在从事NLP的工程师，但明显发现绝大部分对技术深度和宽度的理解是比较薄弱的，大多还是只停留在调用现有工具比如BERT、XLNet等阶段。
PaperWeekly·2022-05-09 10:06

5分钟NLP：Text-To-Text Transfer Transformer (T5)统一的文本到文本任务模型

迁移学习被诸如GPT，Bert，XLNet，Roberta，Albert和Reformer等模型所证明。Text-
·2022-04-23 09:33

一文读懂最强中文NLP预训练模型ERNIE

基于飞桨开源的持续学习的语义理解框架ERNIE2.0，及基于此框架的ERNIE2.0预训练模型，在共计16个中英文任务上超越了BERT和XLNet,取得了SOTA效果。
stay_foolish12·2022-02-19 07:40

(含源码)「自然语言处理(NLP)」RoBERTa&&XLNet&&语言模型&&问答系统训练

来源:AINLPer微信公众号（每日更新...）编辑:ShuYini校稿:ShuYini时间:2020-07-29引言：本次内容主要包括：稳健优化Bert模型（RoBERTa）、自回归预训练模型（XLNet
Shu灬下雨天·2022-02-10 04:00

《XLNet:Generalized Autoregressive Pretraining for Language Understanding》论文笔记

本文提出的XLNet，整合了两大类模型的优点，改进了各自的缺点，主要改进：通过最大化所有可能的分解顺序的排列的期望可能性去学习双向的
XHHP·2021-11-10 14:27

面试数百名NLP工程师发现：90%以上是不合格的

在过去几个月时间里，我们面试过数百名已经在从事NLP的工程师后发现，他们中的绝大部分对技术深度和宽度的理解是比较薄弱的，大多还是只停留在调用现有工具比如BERT、XLNet等阶段。
小白学视觉·2021-10-20 10:00

71自然语言处理预训练技术实践--XLNet 预训练模型及命名实体识别

XLNet预训练模型及命名实体识别谷歌的团队继BERT模型之后，在2019年中旬又提出了XLNet模型。
Jachin111·2021-06-18 23:08

NLP每日论文速递[06.20]

有些许帮助的话，麻烦关注一下哦(*￣rǒ￣)cs.CL方向，今日共计14篇[cs.CL]：【1】XLNet:GeneralizedAutoregressivePretrainingforLanguageUnderstanding
arXiv每日论文速递·2021-04-28 15:59

提速1000倍，预测延迟少于1ms，百度飞桨发布基于ERNIE的语义理解开发套件

今年7月，百度发布持续学习语义理解框架ERNIE2.0，在共计16个中英文任务上超越BERT、XLNET，取得了SOTA的效果。ERNI
·2021-03-23 01:39

hugging face 预训练模型

发现一个很好用的预训练模型网站：https://huggingface.co，里面有超级多的预训练模型，常见的bert,robert,gpt,electra,xlnet等。
ineedstudytosurvive·2021-02-18 14:33

预训练语言模型

自回归模型（单向模型）：ELMO/ULMFiT/SiATL/GPT1.0/GPT2.0双向特征、自编码模型（BERT系列模型）：BERT/ERNIE/SpanBERT/RoBERTa双向特征、自回归模型“XLNet
DecafTea·2021-01-22 10:28

预训练模型介绍：BERT、GPT、XLNet、RoBERTa、ALBERT和ELECTRA

预训练预训练是Transformer模型学习建模语言的过程。换句话说，“Transformer”将学习良好的，取决于上下文的表示文本序列的方式。然后，该知识可以在下游任务中重用，因为模型已经学习了语言功能，并且现在只需要微调其表示以执行特定任务，就可以大大减少所需的特定于任务的，标记数据。对于预训练，在数据方面的唯一要求是许多（希望）干净的数据。无需标签！BERTBERT（Bidirectiona
leon_kbl·2021-01-12 21:19

语言三元组快速转制_[预训练语言模型专题] ENRIE(Tsinghua)：知识图谱与BERT相结合，为语言模型赋能助力...

BERT代码]、[ERNIE合集]、[MT-DNN(KD)]9-12:[Transformer]、[Transformer-XL]、[UniLM]、[Mass-Bart]13-16：[跨语种模型]、[XLNet
范米索·2021-01-07 14:55

关于某个复现XLNet的广告文案

在某心培训中，最常见的一个广告就是所谓复现XLNet的。原意是，在面试一个小时中，如果你不能手打XLNet，那么你连基本功都达不到。所以换句话说，倒贴钱都没公司要你。这个广告造成极坏的影响。
雷姆是我的·2021-01-01 09:43

杨植麟：28 岁青年科学家，开挂人生的方法论

在此期间先后以一作身份，发表了影响广泛的成果Transformer-XL和XLNet，对自然语言处理带来了极大的影响。在最近由“青源会”组织的
BAAIBeijing·2020-12-23 19:00

huggingface实操_百度NLP预训练模型ERNIE2.0最强实操课程来袭！【附教程】

继1.0后，ERNIE英文任务方面取得全新突破，在共计16个中英文任务上超越了BERT和XLNet,取得了SOTA效果。本篇内容可以说是史上最强实操课程，由浅入深完
weixin_39896617·2020-12-22 18:33

BERT，XLNET分词方法bpe，unigram等介绍

BERT,XLNET等分词方法先给一个结论吧，BERT使用的是wordpiece的分词方法，XLNET和transformer-xl使用的是sentencepiece的切分方法。
彭伟_02·2020-12-20 22:15

pytorch resnet50预训练模型_最强NLP预训练模型库PyTorchTransformers正式开源！支持6个预训练框架，27个预训练模型...

该项目支持BERT、GPT、GPT-2、Transformer-XL、XLNet、XLM等，并包含了27个预训练模型。
weixin_39663360·2020-11-27 00:38

论文阅读--《K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters》

关键词：预训练模型，knowledge-EnhancedPLM,1.背景及问题描述通过大数据量训练得到的预训练语言模型，比如BERT、GPT、XLNet等，再对于特定的任务做fine-tuning，或者通过多任务的方式来个更新模型的全部权重
ColdCoder·2020-11-11 16:28

UNIF: 自然语言处理联合框架

轻便、易使用的自然语言处理联合框架，帮你快速搭建各类常用深度学习模型(Transformer,GPT-2,BERT,ALBERT,UniLM,XLNet,ELECTRA)，同时对于BERT系列，支持高效用的蒸馏
luv_dusk·2020-10-09 21:10
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他