[动手学深度学习-PyTorch版]-6.1循环神经网络-语言模型

6.1 语言模型

image.png

语言模型可用于提升语音识别和机器翻译的性能。例如，在语音识别中，给定一段“厨房里食油用完了”的语音，有可能会输出“厨房里食油用完了”和“厨房里石油用完了”这两个读音完全一样的文本序列。如果语言模型判断出前者的概率大于后者的概率，我们就可以根据相同读音的语音输出“厨房里食油用完了”的文本序列。在机器翻译中，如果对英文“you go first”逐词翻译成中文的话，可能得到“你走先”“你先走”等排列方式的文本序列。如果语言模型判断出“你先走”的概率大于其他排列方式的文本序列的概率，我们就可以把“you go first”翻译成“你先走”。

6.1.1 语言模型的计算

image.png

6.1.2 n元语法

image.png

小结

• 语言模型是自然语言处理的重要技术。
• N元语法是基于n−1阶马尔可夫链的概率语言模型，n权衡了计算复杂度和模型准确性。

---

注：本节与原书此节完全相同，原书传送门