ELMo

[深度学习]自然语言处理 --- ELMo

原文链接：DeepcontextualizedwordrepresentationsELMO，是EmbeddingfromLanguageModel的缩写(Peters等人，2018年)，通过无监督预训练多层双向LSTM模型来学习带上下文信息的（Contextualized）单词表示。1.Motivation词向量在目前NLP技术发展和应用中具有重要作用，高质量的词向量对下游任务的效果至关重要。传
曾先森~~·2020-07-06 14:33

【NLP/AI算法面试必备-2】NLP/AI面试全记录

部分问题答案已经写入可参见：学习NLP/AI，必须深入理解“神经网络及其优化问题”nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert一、AI算法基础1、样本不平衡的解决方法
pyxiea·2020-07-06 09:52

图解自监督学习，人工智能蛋糕中最大的一块

虽然这个类比是有争论的，但我们也已经看到了自监督学习的影响，在自然语言处理领域最新发展(Word2Vec，Glove,ELMO,BERT)中，已经接受了自监督，并取得了最佳的成果。
喜欢打酱油的老鸟·2020-07-06 03:09

bert实践:关系抽取解读

前言bert模型是谷歌2018年10月底公布的，反响巨大，效果不错，在各大比赛上面出类拔萃，它的提出主要是针对word2vec等模型的不足，在之前的预训练模型（包括word2vec，ELMo等）都会生成词向量
weixin_42001089·2020-07-06 03:51

后BERT时代：15个预训练模型对比分析与关键点探索（附链接）

本文对ELMo以来的15个代表性的预训练语言模型进行了多维度的对比和分析。前言在之前写过的《NLP的游戏规则从此改写？
数据派THU·2020-07-05 14:50

关于ELMo的若干问题整理 & 思考

1.ELMo的基本原理是什么？
Adherer·2020-07-04 22:42

NLP词向量发展历程

文章目录1、tf-idf2、word2vec3、GloVe4、Fasttext5、ELMo6、OpenAIGPT7、BERT7.1Bert预训练7.1.1输入7.1.2训练任务7.1.3训练细节7.2BertFine-tune
郝伟老师的技术博客·2020-07-04 18:17

【NLP】从WE、ELMo、GPT到Bert模型—自然语言处理中的预训练技术发展史

Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，创新不算大。但是架不住效果太好了，基本刷新了很多NLP的任务的最好性能，有些任务还被刷爆了，这个才是关键。另外一点是Bert具备广泛的通用性，就是说绝大部分NLP任务都可以采用类似的两阶段模
夜空骑士·2020-07-04 07:18

关于ELMo、Transformer及Bert的部分疑难问题解答

ELMo其实是考虑了目标信息的前后内容，来对目标进行预测：使用深层Bi-RNN对序列进行学习，可以学习到目标的前后文信息，以此来更好的表示目标数据。
沙漠之狐MSFollower·2020-07-04 06:28

2018年最后几天学什么？给你关注度最高的10篇文章

这些文章的内容主要是由Google、DeepMind、OpenAI等科技公司发布的自家在机器学习领域最新技术研究，比如AlphaZero、CoinRun、NLP模型（BERT、ELMo、co）、PixelCamera
AI科技大本营·2020-07-01 21:19

【阅读笔记】机器阅读理解（中）——架构篇

模型架构总体架构编码层词表向量字符编码上下文编码交互层互注意力自注意力上下文编码输出层多项式选择答案生成区间式答案自由式答案生成注意力机制的应用拷贝生成机制二、常见MRC模型BiDAFR-net融合网络单词历史全关注注意力总体架构关键词检索与阅读模型（ET-RR）检索器阅读器三、预训练模型与迁移学习基于翻译的PTM——CoVe基于语言模型的ELMo
changreal·2020-07-01 19:59

[深度学习] 自然语言处理 --- 文本分类模型总结

文本分类包括基于word2vec预训练的文本分类，与及基于最新的预训练模型（ELMO，BERT等）的文本分类fastText模型textCNN模型charCNN模型Bi-LSTM模型Bi-LSTM+Attention
曾先森~~·2020-06-30 20:41

词向量——ELMo

ELMo（EmbeddingsfromLanguageModels）词向量模型，2018年3月在Deepcontextualizedwordrepresentations（语境化的词向量）这篇论文中被提出
momo_zhong·2020-06-30 16:28

BERT基础（三）：BERT与Word2Vec、ELMO的比较与所做改进分析

参考文章：Bert浅析从WordEmbedding到Bert模型——自然语言处理预训练技术发展史关于self-attention与transformer参考之前的博文BERT基础（二）：Transformer详解BERT基础（一）：self_attention自注意力详解简单来说，词向量模型是一个工具，可以把文字（词语/字符）转换成向量，然后我们使用这些向量来完成各种NLP任务。因而某种意义上，N
杨丹的博客·2020-06-30 05:27

预训练语言模型整理（ELMo/GPT/BERT...）

目录简介预训练任务简介自回归语言模型自编码语言模型预训练模型的简介与对比ELMo细节ELMo的下游使用GPT/GPT2GPT细节微调GPT2优缺点BERTBERT的预训练输入表征Fine-tunninng
weixin_44626980·2020-06-29 14:18

ELMO中文词向量训练及使用的完整流程

笔者最近在学习elmo中文的词向量训练及使用，由于网上相关资料比较缺乏，也比较零碎，没有完整的从中文词向量的训练到使用的介绍，学起来困难较多。
三·川·2020-06-29 12:00

文献记录－BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

并且可以通过fine-tune的方式去获得较好的多个下游任务的效果．简介：预训练模型对于NLP的数据特征的提取有着很大作用，为了找到，句子和句子，词语和词语之间的联系．现有的预训练模型有两种：基于特征的(elmo
wenqiang su·2020-06-29 06:24

深度学习算法整理面试宝典（偏NLP）

word2vecRNNLSTMGRUAttention模型SelfAttention模型Transformer模型ELMO模型BERT模型其他面试常
仙女也得写代码·2020-06-28 23:09

BERT和ERNIE谁更强？这里有一份4大场景的细致评测

1.写在前面随着2018年ELMo、BERT等模型的发布，NLP领域终于进入了“大力出奇迹”的时代。采用大规模语料上进行无监督预训练的深层模型，在下游任务数据上微调一下，即可达到很好的效果。
weixin_34384681·2020-06-28 18:15

Elmo原文翻译

原文链接Deepcontextualizedwordrepresentations1.Introduction什么是一个好的词向量能够反映出语义和语法的复杂特征.能够准确的对不同上下文进行反应.deepcontextualized词向量的特点使用理念方面:在原先的词向量模型中,每个词对应着一个向量,但是这个模型是根据一个句子赋予每个词汇向量.因此对于一个n-tokens的输入NLP任务模型,输入到
ttv56·2020-06-27 09:01

ELMo：基于上下文的语言模型，5分钟构建语义搜索引擎代码实战

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：JoshTaylor编译：ronghuaiyang导读5分钟内构建一个基于ELMo的语义搜索引擎，在NLP中，上下文就是一切。
ronghuaiyang·2020-06-27 02:09

独家 | NLP详细教程：手把手教你用ELMo模型提取文本特征（附代码&论文）

本文将介绍ELMo的原理和它与传统词嵌入的区别，然后通过实践来展示其效果。简介我致力于研究自然语言处理（NLP）领域相关问题。
数据派THU·2020-06-26 17:42

NPL实践系列：10、最强NLP模型：BERT

导论：2018年NPL领域，很不凡，二月出了ELMo，六月出了OpenAITransformer，十月又出了BERT，模型一个比一个强大，性能也是越加优良，最为目前特别亮眼的Bert模型，被称为最强NPL
风狂的学者·2020-06-26 15:23

Elmo

Elmo1Elmo简介ELMo是一种新型深度语境化词表征，可对词进行复杂特征(如句法和语义)和词在语言语境中的变化进行建模(即对多义词进行建模)。
s1434088958·2020-06-26 06:58

Bert和Albert、XLNet的前世今生

在之前的一篇题为NLP词向量模型总结：从Elmo到GPT,再到Bert的博文中，详细介绍了ELMO、GPT、Bert三者之间千丝万缕的关系，时代在发展，论文在更新，工具在进步，站在巨人(Bert)的肩膀上
谈笑风生...·2020-06-25 17:47

如何将ELMo词向量用于中文

ELMo于今年二月由AllenNLP提出，与word2vec或GloVe不同的是其动态词向量的思想，其本质即通过训练languagemodel，对于一句话进入到languagemodel获得不同的词向量
会飞的小罐子·2020-06-25 13:36

NLP:自回归（Autoregressive LM）与自编码语言模型（Autoencoder LM）

（GPT,ELMO）GPT就是典型的自回归语言模型。ELMO尽管看上去利用了上文，也利用了下文，但是本质上仍然是自回归LM，这个跟模型具体怎么实现有关系。ELMO
小马帅就是我没错了·2020-06-25 07:58

【NLP】李宏毅老师ELMO, BERT, GPT讲解【笔记】

零、引例首先来看一个例子，下面有四句话，每一句话中都有“bank”这个单词：1、Haveyoupaidthatmoneytothebankyet?2、Itissafesttodeposityourmoneyinthebank.3、Thevictimwasfoundlyingdeadontheriverbank.4、Theystoodontheriverbanktofish.但“bank”在其前两句
土豆洋芋山药蛋·2020-06-25 07:16

【PTM】ELMo：通过预训练语言模型生成词向量

这篇论文提出的ELMo模型是2013年以来Embedding领域非常精彩的转折点，并在2018年及以后的很长一段时间里掀起了迁移学习在NLP领域的风潮。
阿泽的学习笔记·2020-06-25 03:22

Bert详解(1)---从WE、ELMO、GPT到BERT

目录Bert详解(1)—从WE、ELMO、GPT到BERTBERT详解(2)—源码讲解[生成预训练数据]BERT详解(3)—源码解读[预训练模型]BERT详解(4)—fine-tuningBERT(5)
orangerfun·2020-06-24 18:43

李宏毅-ELMO, BERT, GPT讲解笔记

背景知识NLP中词的表示one-hotembedding(1-of-NEncoding)缺点：词汇之间的关联没有考虑，因为不同词之间的距离都是一样的wordclasswordembedding(word2vec)缺点：一词多义的问题无法解决Haveyoupaidthatmoneytothebankyet?Theystoodontheriverbanktofish.上面两句话中的bank显然不是同一
solejay·2020-06-24 12:20

美团BERT的探索和实践

背景2018年，自然语言处理（NaturalLanguageProcessing，NLP）领域最激动人心的进展莫过于预训练语言模型，包括基于RNN的ELMo[1]和ULMFiT
不一样的算法工程师·2020-06-23 23:47

NLP免费直播 | 四期讲透图卷积神经网络、BERT、对话生成、知识图谱、词嵌入

为了帮助大家快速了解课程，在训练营开课前，我们特意联合贪心学院打造四场公开课，并选择选择了近几年NLP领域最火的话题，包括GNN,GCN,Word2Vec,ELMo,GPT,BERT,对话系统，个性化文本生成
京东智联云技术新知·2020-06-23 21:07

OpenAI GPT解读

背景上篇我们讲了transformer的模型架构，论文《Attentionisallyouneed》也表明了transformer的效果是比RNN和CNN好的，而在ELMo解读里，我们也谈到了训练语言模型再结合具体任务即
别水贴了·2020-06-23 07:49

免费直播公开课 | 图卷积神经网络, BERT, 对话生成，知识图谱

这次的系列课程我们又选择了近几年NLP领域最火的话题，包括GNN,GCN,Word2Vec,ELMo,GPT,BERT
风度78·2020-06-23 07:42

一文看懂Transformer到BERT模型

目录：ELMo与Transformer的简单回顾DAE与MaskedLanguageModelBERT模型详解BERT模型的不同训练方法如何把BERT模型应用在实际项目中如何对BERT减肥BERT存在的问题
风度78·2020-06-23 07:08

搞定NLP领域的“变形金刚”！手把手教你用BERT进行多标签文本分类

ELMo，ULMFiT和OpenAITransformer是其中几个关键的里程碑。所有这些算法都允许我们在大型数据库（例如所有维基百科文章）上预先训练无监督语言
conglu1891·2020-06-23 00:33

自回归、自编码语言模型在预训练模型中的应用

关于语言模型(自回归AR和自编码AE)如何结合特征提取器（LSTM和Transformer）的词表征模型（词向量的预训练模型），如ELMO、GPT、BERT、XLNET等，论文AnintroductionofDeepLearningBasedWordRepresentationAppliedtoNaturalLanguageProcessing
木木舟Lorenzo·2020-06-22 23:44

【总结向】预训练模型小结

3Transformer-xl3.1segment-levelrecurrencemechanism3.2relativepositionalencoding4Bert阶段1：语言模型阶段2：fine-tune5GPT6ELMo7
changreal·2020-06-22 21:48

NAACL 2019最佳论文：量子概率驱动的神经网络

NAACL与ACL和EMNLP并称之为NLP三大顶会，去年ELMO获得outstandingpaper，今年一共有五篇最佳论文，分别是BestThematicPaper，BestEx
PaperWeekly·2020-06-22 19:26

深度学习预训练模型可解释性概览

©PaperWeekly原创·作者｜蔡杰学校｜北京大学硕士生研究方向｜问答系统近年来预训练模型（ELMo,GPT,BERT,XLNet,ALBERT等）给许多NLP任务带来了显著的改进，但是有一个问题一直困扰着大家
PaperWeekly·2020-06-22 19:50

【NLP】词向量：从word2vec、glove、ELMo到BERT详解！

目前，词向量（又叫词嵌入wordembedding）已经成为NLP领域各种任务的必备一步，而且随着bertelmo,gpt等预训练模型的发展，词向量演变为知识表示方法，但其本质思想不变。学习各种词向量训练原理可以很好地掌握NLP各种方法。生成词向量的方法有很多种，本文重点介绍word2vec,glove和bert。各种词向量的特点：One-hot：维度灾难and语义鸿沟；矩阵分解（LSA）：利用全
夜空骑士·2020-06-22 02:41

（五）Bert

3.1MaskedLM3.2NextSentencePrediction四、为什么BERT比ELMo效果好？ELMo和BERT的区别是什么？4.1为什么BERT比ELMo效果好？
Miracle_520·2020-06-22 01:48

（三）ELMO

文章目录一、ELMO的基本原理二、ELMO的训练过程是什么样的？损失函数是什么？三、ELMO训练好之后如何使用？四、ELMO的优点是什么？ELMO为什么有效？
Miracle_520·2020-06-22 01:47

常见的面试问题————NLP篇（持续更新）

是怎么实现的，思路是怎样的，损失函数变化层次softmax为什么要以词频构建二叉树https://www.zhihu.com/question/398884697fasttext、word2vec、glove、elmo
烟雨人长安·2020-06-22 01:39

Pretraning in NLP（预训练ELMo，GPT，BERT，XLNet）

图像中的Pretraning往往是在大规模图像集上进行训练后，再在特定的任务上进行fine-turning。而nlp领域的fine-turning就是wordembedding了。而词嵌入（例如word2vec，GloVe）通常是在一个较大的语料库上利用词的共现统计预训练得到的。例如king和queen上下文时常相同或相似，所以词向量相似，在向量空间中词距离很近。但是word2vec在训练完毕后，
上杉翔二·2020-06-21 05:33

预训练语言模型的一些笔记总结

ELMO全称为embeddingfromlanguagemodel，顾名思义从语言模型中获取词向量。之前的词向量方法的两个问题：1.复杂的词特性，语法(pos任务)和语义(消歧)。
choose_c·2020-06-21 00:17

美团BERT的探索和实践

总第368篇2019年第46篇背景2018年，自然语言处理（NaturalLanguageProcessing，NLP）领域最激动人心的进展莫过于预训练语言模型，包括基于RNN的ELMo[1]和ULMFiT
美团技术团队·2020-06-20 20:41

【NLP】Word Embedding（word2vec、glove）

bag-of-words：基于one-hot、tf-idf、textrank等主题模型：LSA（SVD）、pLSA、LDA；基于词向量的固定表征：word2vec、fastText、GloVe；基于词向量的动态表征：elmo
YeZzz·2020-06-18 18:00

elmo论文阅读:Deep contextualized word representations

0.摘要我们介绍了一种新的基于上下文的深度单词表示，这种表示既建模了复杂的单词使用特征，也建模了这些表示在不同的语境下的区别。我们的词向量是双向语言模型下内部状态的函数，这个双向语言模型是通过大量的语料预训练的。研究表明，这些表示可以比较容易的加入到先有的模型中，并且显著提升了6个NLP问题的SOA，包括问答、文本蕴含关系、情感分析。我们还给出了一个分析，该分析表明，暴露预训练网络深度内容是非常重
0_oHuanyu·2020-05-15 15:02
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他