Language Model 论文

1.A Neural Probabilistic Language Model

 

 

www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf

 

 

Begio的一篇文章,建立语言模型根本的问题是维度灾难,为了解决这个问题使用N-gram,但N-gram的问题是对于训练集中没有出现的句子,概率很小,所以要把N取得小,这样有两点问题:1.上下文较长的情况没有考虑;2.没有考虑词与词之间的相似性

文章提出一个模型同时学习:1.词的分布式表示(减少维度、并考虑了相似性)2.语言概率模型

 

 

 

 

模型图:

 

Language Model 论文_第1张图片

 

loss function是最大化log likelihood,加正则化项:

 

 

 

2.Three new graphical models for statistical language modelling

 

www.cs.toronto.edu/~amnih/papers/threenew.pdf

 

 

受限玻尔兹曼机

log-bilinear language model

 

3.A Scalable Hierarchical Distributed Language Model

 

papers.nips.cc/paper/3583-a-scalable-hierarchical-distributed-language-model.pdf

 

改进log-bilinear language model

 

 

4.Recurrent neural network based language model

http://www.fit.vutbr.cz/research/groups/speech/publi/2010/mikolov_interspeech2010_IS100722.pdf

 

你可能感兴趣的:(nlp)