Deep learning lecture 3

RNN

Language modeling

目标:估计一个word sequence的概率

举个例子: recognize speech or wreck a nice beach, 从声音讯号里是判断不出来,但我们可以估计出来recognize speech的概率会更大一些

传统的方法是N-gram Language Modeling

n-1 个字的概率

Deep learning lecture 3_第1张图片

smoothing 表示给某些情况一些小概率,例如p=0.0001

这些概率是不准确的,我们在training data里不能收集到所有情况

Deep learning lecture 3_第2张图片

Neural language modeling里,会自动做smoothing

RNNLM: recurrent neural network language model

Deep learning lecture 3_第3张图片

你可能感兴趣的:(Deep learning lecture 3)