05 神经网络语言模型（独热编码+词向量的起源）

博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看

配套 github 链接：https://github.com/nickchen121/Pre-training-language-model

配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html

统计语言模型

统计+语言模型–》用统计的方法去完成以下两个和人说的话相关的任务

语言模型 = 语言（人说的话） + 模型（去完成两个任务）

1. 比较，“词性”，“磁性”
2. 预测下一个单词（填空）

n 元语言模型

取 a（2，3，4） 个词

神经网络语言模型

神经网络+语言模型