学习笔记——A Neural Probabilistic Language Model

仅作个人学习记录。

背景

该论文提出了NNLM模型，即Nerual Network Language Model，开创了用神经网络解决网络模型的先河。
第一作者Bengio先生在深度学习方面有极深的造诣，被认为深度学习“三巨头”之一。

核心内容

1. 为解决维数灾难问题，使用词的分布式表示，允许每一个训练语句给模型提供关于语义相邻句子的指数级别数量的信息。
2. 采用神经网络而不是n-gram解决语言模型问题，可以更好利用上下文。
3. NNLM计算量比n-gram大，但是解决了n-gram参数随单词表大小呈指数倍增长的问题。