xlnet

基于Google的预训练模型XLNet实现电商情感多分类任务

我的项目环境：平台：Windows10语言环境：python3.7编译器：PyCharmPyTorch版本：1.8.1项目专栏：【PyTorch深度学习项目实战100例】一、基于Google的预训练模型XLNet
༺࿈ 海洋༒之心 ࿈༻·2023-03-09 12:35

【NLP相关】XLNET原理以及案例

（封面图由ERNIE-ViLGAI作画大模型生成）【NLP相关】XLNET原理以及案例XLNET模型是自然语言处理领域中最近新兴的模型之一，其创新之处在于引入了TransformerXL机制，进一步扩展了
Chaos_Wang_·2023-03-09 12:34

情感识别难？图神经网络创新方法大幅提高性能

随着诸如Attention和Transformers之类新发明的出现，BERT和XLNet一次次取得进步，使得文本情感识别之类的等任务变得更加容易。
喜欢打酱油的老鸟·2023-02-16 22:52

RoBERTa：一种鲁棒地优化BERT预训练的方法

自训练的方法，诸如ELMo、GPT、BERT、XLM、XLNet均带
beyourselfwb·2023-02-01 10:04

2020，XLNet: Generalized Autoregressive Pretraining for Language Understanding

鉴于这些优缺点，我们提出了XLNet，一种广义自回归预训练方法，1）通过最大化分解顺序的所有排列的期望可能性来学习双向上下文，2）克服了BERT的自回归公式的局限性。此外，XLNet还将来自最先进
weixin_42653320·2023-01-31 23:13

BERT（三）——BERT 改进

先都列出来，有时间再详细整理BERT-BaseBERT-LargeBERT-wwmSpanBertSpanBert：对Bert预训练的一次深度探索DistillBERTXLNET飞跃芝麻街：XLNet详解最通俗易懂的
微知girl·2023-01-31 11:44

《论文阅读》DialogXL: All-in-One XLNet for Multi-Party Conversation Emotion Recognition

《论文阅读》DialogXL:All-in-OneXLNetforMulti-PartyConversationEmotionRecognition简介思路出发点任务定义模型结构构造输入模型架构UtteranceRecurrenceDialog-AwareSelf-Attention训练过程实验结果结论出版：AAAI时间：2021类型：对话中的情感识别特点：专门为ERC设计的模型，提供了一种寻找合
365JHWZGo·2023-01-30 09:31

语义相似度、句向量生成超强模型之SBERT《Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks》

各大预训练模型如GPT-2，Robert，XLNet，Transformer-XL，Albert，T5等等层数不穷。但是几乎大部分的这些模型均不适合语义相似度搜索，也不适合非监督任务，比如聚类。
*Lisen·2023-01-29 14:24

文献阅读：RoFormer: Enhanced Transformer with Rotary Position Embedding

EnhancedTransformerwithRotaryPositionEmbedding1.工作简介2.常见位置编码方式1.绝对位置编码1.Bert2.AttentionIsAllYouNeed2.相对位置编码1.经典相对位置编码2.XLNet3
Espresso Macchiato·2023-01-28 08:39

BERT衍生模型

综述NLP预训练模型2–BERT详解和源码分析NLP预训练模型3–预训练任务优化（ERNIE、SpanBERT）NLP预训练模型4–训练方法优化（RoBERTa、T5）NLP预训练模型5–模型结构优化（XLNet
zhurui_xiaozhuzaizai·2023-01-23 13:47

浅析Attention在推荐系统中的应用（1）Attention简介

attention机制可谓是大放异彩，从nlp领域的transformer、bert，xlnet，到推荐领域的auto
东南枝DP·2023-01-23 08:20

RASA框架介绍

在最新版的rasa里已经集成了bert模型和xlnet，可以通过model选择用bert，通过LanguageModelTokenizer进行分词，EntitySynonymMapper进行命名实体识别
hblg_bobo·2023-01-19 10:49

深入浅出Embedding

ItemEmbedding,GraphEmbedding,CategoricalvariablesEmbedding延伸,静态WrodEmbedding向ELMo,Transformer,GPT,BERT,XLNet
_森罗万象·2023-01-18 22:21

NLP-预训练模型：迁移学习（拿已经训练好的模型来使用）【预训练模型：BERT、GPT、Transformer-XL、XLNet、RoBerta、XLM、T5】、微调、微调脚本、【GLUE数据集】

深度学习-自然语言处理：迁移学习（拿已经训练好的模型来使用）【GLUE数据集、预训练模型（BERT、GPT、transformer-XL、XLNet、T5）、微调、微调脚本】一、迁移学习概述二、NLP中的标准数据集
u013250861·2023-01-17 18:33

常用的中文预训练模型、预训练词向量下载地址收藏

中文预训练模型下载原版：https://huggingface.co/modelsGoogle原版bert：https://github.com/google-research/bert中文XLNET预训练模型
快乐小码农·2023-01-17 18:28

bert 中文 代码 谷歌_Bert 预训练小结

值得吐槽的是huggingface之前发布的分支名叫pytorch-pretrain-bert，后来又加上了gpt2、XLNet一系列当红模型，结果索性改了个名字叫做pytorch-trans
weixin_39913141·2023-01-17 16:45

历史最全最新中文自然语言处理预训练模型汇总分享-内含免费下载地

包含自然语言理解系列模型，如BERT、RoBERTa、ALBERT、NEZHA、XLNET、MacBERT、ELECTRA、ZEN、ERNIE。
lqfarmer·2023-01-16 11:09

ALBERT、XLNet，NLP技术发展太快，如何才能跟得上节奏？

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
普通网友·2023-01-12 10:14

对Transformer、XLNet、 ALBERT、 CRF等技术仍然一知半解？再不学习就OUT了！

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
Evan-yzh·2023-01-12 10:43

ALBERT、XLNet，NLP 技术发展太快，如何才能跟得上节奏？

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
weixin_38753422·2023-01-12 10:43

对 GCN, Transformer, XLNet, ALBERT, CRF 等技术仍然一知半解？再不学习就 OUT 了！

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
weixin_38753422·2023-01-12 10:43

涵盖Bert、VAE、Seq2Seq、XLNet......算法模型学习指导

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤少壮不努力,老大徒伤悲。加入AI行业拿到高薪仅仅是职业生涯的开始。现阶段AI人才结构在不断升级，这也意味着如果目前仍然停留在调用一些函数库，则在未来1-2年内很大概率上会失去核心竞争力的。几年前如果熟练使用TensorFlow，同时掌握基本的AI算法就可以很容易找到一份高薪的工作，但现
Python进阶者·2023-01-12 10:11

为NLP从业者/研究生/研究员专门定制的全网唯一高端NLP训练营

谷歌Lab近日发布了一个新的预训练模型"ALBERT"全面在SQuAD2.0、GLUE、RACE等任务上超越了BERT、XLNet、RoBERTa再次刷新了排行榜！
风度78·2023-01-12 10:08

从GPT到GPT3的论文笔记

这种机制叫做自回归（auto-regression），GPT-2，以及一些诸如TransformerXL和XLNet等后续出现的模型，本质上都是自回归模型，而BE
九桂·2023-01-09 09:31

做人类语言谜题的破壁人：百度ERNIE 2.0的突破与创造

这两天AI圈有一个广受关注的新闻，百度发布了持续学习的语义理解框架ERNIE2.0，这个模型在1.0版本中文任务中全面超越BERT的基础上，英文任务取得了全新突破，在共计16个中英文任务上超越了BERT和XLNet
cqu67371·2023-01-05 21:47

【回答问题】ChatGPT上线了！给我推荐20个比较流行的nlp预训练模型

预训练模型给我推荐20个比较流行的nlp预训练模型源码给我推荐20个比较流行的nlp预训练模型BERT(谷歌)GPT-2(OpenAI)RoBERTa(Facebook)ALBERT(谷歌)ELECTRA(谷歌)XLNet
源代码杀手·2023-01-03 18:01

一文带你了解知识图谱融入预训练模型哪家强？九大模型集中放送

Transformer结构模型使用注意力机制来获取文本中长距离字符间的依赖关系，包括对其进行优化的TransformerXL，BERT使用的MLM模型和XLNET使用的PLM模型。
NLP论文解读·2023-01-03 08:30

关于transformer、bert、xlnet、roberta、albert的简要小结

01transformertransformer重要的地方是引入了attention机制，可以得到embeding的token之间的相互关系信息。以及在embeding的时候，计算了相对位置的信息，让输入的信息更加全面。细节在这里不再描述，可以参考这篇作者的链接：https://jalammar.github.io/illustrated-transformer/02bertBert沿用了tran
weixin_41710583·2022-12-31 17:01

BERT、RoBerta、XLNet、ALBERT对比

BERTBERT堆叠了多层Transformer的Encoder模块，设计了两个任务来完成预训练：MaskedLM：随机mask掉15%的token，其中80%替换为[MASK]，10%替换为其它token，10%保留原单词。NextSentencePrediction(NSP)：从训练集中抽取A和B句，50%为A的下一句，50%为其它句子。RoBerta静态MaskVS动态Mask静态Mask：
transformer_WSZ·2022-12-31 17:30

DL-Paper精读：Tiny-BERT

DistillingBERTforNaturalLanguageUnderstandinghttps://arxiv.org/pdf/1909.10351.pdfarxiv.orgBackgroudandIssue在NLP领域，预训练模型（BERT,XLNet
星月野·2022-12-31 09:10

谷歌原版bert模型tf转pytorch命令

从TensorFlow检查点转换提供了一个命令行界面，用于将原始的Bert/GPT/GPT-2/Transformer-XL/XLNet/XLM检查点转换为可以使用库的from_pretrained方法加载的模型
岩岩岩哥·2022-12-28 14:11

深度学习 学习笔记总结

深度学习的优化算法四、卷积神经网络五、循环神经网络从第五章开始重点就将在NLP领域了六、长短期记忆网络七、自然语言处理与词向量八、word2vec词向量九、seq2seq与注意力模型十、从Embedding到XLNET
欢桑·2022-12-27 20:21

NLP - 模型

4关于GPT、XLNET的相关知识？5关于FastText6关于XLNet6关于Transformer-XL6其他内容1关于Transformer，面试官们都怎么问？
ZhuNian的学习乐园·2022-12-23 08:28

bert pytorch 序列标注_手把手教你用Pytorch-Transformers——部分源码解读及相关说明（一）...

简介Transformers是一个用于自然语言处理(NLP)的Python第三方库，实现Bert、GPT-2和XLNET等比较新的模型，支持TensorFlow和PyTorch。
weixin_39694264·2022-12-21 06:41

NLP中的预训练方法总结 word2vec、ELMO、GPT、BERT、XLNET

文章目录一.文本的表示方法基于one-hot的词向量二.基于词向量的固定表征方法（词向量模型）2.1N-gram模型2.2NNLM2.3word2vecCBoWSkip-gram层次Softmax负采样三.基于词向量的动态表征方法（预训练语言模型）3.1什么是预训练语言模型3.2预训练语言模型的优点3.3预训练语言模型的分类自回归语言模型自编码语言模型排列语言模型3.4几种重要的预训练模型介绍1.
iceburg-blogs·2022-12-20 19:03

【预训练模型】学习笔记

预训练模型1、BERT基本概念模型结构BERT微调2、XLNET3、RoBERTa4、ALBERT1、BERT基本概念BERT（BI-directionalEncoderRepresentationsfromTransformers
飞驰的码农·2022-12-20 09:36

非常简单实用项目 文本生成 （UniLM模型）

首先说一下Transformer专属（扩展）UNILM的seq2seq预训练，Xlnet的乱序语言模型预训练，基本可以说是专门为transformer架构定制的。
Cchaofan·2022-12-18 00:01

为解决BERT模型对语料中低频词的不敏感性

简介近年来，预训练语言模型在NLP领域取得了突破性的提升，其中BERT，RoBERTa，XLNet都采用了MLM任务获取了
深度之眼·2022-12-17 13:23

月薪50K的机器学习工程师，需要具备哪些条件？

如果现在一个面试官让你从零推导SVM的Dual、从零实现CRF、推导LDA、设计一个QP问题、从零编写XLNet、编写GCN/GNN、改造SkipGram模型、用一天时间复现一篇顶级会议....这些要求一点都不过分
视学算法·2022-12-16 15:05

机器学习高阶训练，构建AI核心技术壁垒

如果现在一个面试官让你从零推导SVM的Dual、从零实现CRF、推导LDA、设计一个QP问题、从零编写XLNet、编写GCN/GNN、改造SkipGram模型、用一天时间复现一篇顶级会议....这些要求一点都不过分
九三智能控v·2022-12-16 15:30

未来 3-5 年，机器学习就业会达到饱和吗？

如果现在一个面试官让你从零推导SVM的Dual、从零实现CRF、推导LDA、设计一个QP问题、从零编写XLNet、编写GCN/GNN、改造SkipGram模型、用一天时间复现一篇顶级会议....这些要求一点都不过分
frank_hetest·2022-12-16 15:26

使用MindStudio进行xlnet模型训练

详情请点击：使用MindStudio进行xlnet模型训练-知乎BERT本身很有效，但它本身也存在一些问题，比如不能用于生成、以及训练数据和测试数据的不一致(Discrepancy)。
weixin_38239810·2022-12-13 00:14

大模型算法 几亿个参数

系统性学习系统入门深度学习，直击算法工程师-慕课网历史爆火的chatGPT，和它的前世今生-虎嗅网自从Bert炸街后，跟风效仿的改进模型也就越来越多了，比如albert、roberta、ERNIE，BART、XLNET
个人渣记录仅为自己搜索用·2022-12-12 23:19

bert-pytorch版源码详细解读

前言bert作为当下最火的NLP模型（或者说该类型的模型，包括AlBert，XLNet等）。对于志在NLP的同学，有必要对其原理和代码都进行比较深入的了解。废话不多说，进入正题。
IGV丶明非·2022-12-12 14:48

【论文串讲】从GPT和BERT到XLNet

“本文是本专栏即将发表的文本预训练系列里面的一个章节，主要讲了XLNet的思路和具体实现细节，之所以叫XLNet是因为它以Transformer-XL为基础。
风度78·2022-12-09 07:09

【论文解读】从BERT和XLNet到MPNet

作者：潘小小，字节跳动AI-Lab算法工程师，专业机器翻译算法，业余法语和音乐。在这篇文章中，我会介绍一篇最新的预训练语言模型的论文，出自MASS的同一作者。这篇文章的亮点是：将两种经典的预训练语言模型（MaskedLanguageModel,PermutedLanguageModel）统一到一个框架中，并且基于它们的优势和缺点，取长补短，提出了一个新的预训练语言模型----MPNet，其混合了M
风度78·2022-12-09 07:09

【论文串讲】从BERT和XLNet到MPNet

作者：潘小小，字节跳动AI-Lab算法工程师，专业机器翻译算法，业余法语和音乐。在这篇文章中，我会介绍一篇最新的预训练语言模型的论文，出自MASS的同一作者。这篇文章的亮点是：将两种经典的预训练语言模型（MaskedLanguageModel,PermutedLanguageModel）统一到一个框架中，并且基于它们的优势和缺点，取长补短，提出了一个新的预训练语言模型----MPNet，其混合了M
Python技术博文·2022-12-09 07:05

【NLP】45个小众而实用的NLP开源字典和工具

阅读大概需要15分钟跟随小博主，每天进步一丢丢转载自：夕小瑶的卖萌屋前言随着BERT、ERNIE、XLNet等预训练模型的流行，解决NLP问题时不用上预训练模型似乎总显得自己有点过时。
zenRRan·2022-12-08 12:40

自然语言处理nlp小姜机器人(闲聊) nlp_xiaojiang-996station GitHub鉴赏官

推荐理由：自然语言处理（nlp），小姜机器人（闲聊检索式chatbot），BERT句向量-相似度（SentenceSimilarity），XLNET句向量-相似度（textxlnetembedding）
996station·2022-12-07 07:17

Transformer Encoder-Decoer 结构回顾

有关于Transformer、BERT及其各种变体的详细介绍请参照笔者另一篇博客：最火的几个全网络预训练模型梳理整合（BERT、ALBERT、XLNet详解）。
Reza.·2022-12-06 08:13
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他