深度学习100问29:rnn语言模型与传统的语言模型有何不同

嘿,你知道 RNNLM 和传统语言模型有啥不一样吗?
 
传统语言模型就像个记性不太好的小伙伴。比如那种 n-gram 语言模型,它只能记住前面几个词,再多就不行啦,就像脑袋里的小抽屉只能装那么点东西。
 
但 RNNLM 可不一样,它就像有个超级强大的记忆宝盒。通过循环连接的隐藏层,它能记住老长老长一段历史信息呢,说不定能想起好久好久以前出现的词。就好像它有个神奇的小本本,把看到过的词都记下来,随时能翻出来用。
 
传统语言模型一般是用统计方法,就像在数数,算这个词出现多少次,那个词出现的概率是多少。这种办法有点笨笨的,对那些复杂的语言现象和长距离的依赖关系就搞不定啦。
 
RNNLM 呢,是用神经网络,就像个聪明的小精灵,能自己从大量的文本里学会语言的特点和模式。它能发现词和词之间的奇妙关系,还能知道同一个词在不同语境下的不同意思。
 
传统语言模型要是遇到新的语言现象或者不同领域的文本,就有点傻眼了,得重新调整或者重新训练,就像个不太会变通的小孩。
 
RNNLM 可厉害啦,它适应能力超强,有很好的泛化能力。就像个机灵的探险家,不管遇到啥样的文本,都能从中学到通用的语言模式,然后在各种任务里大显身手。
 
传统语言模型处理序列数据的时候,还得把文本切成一块一块的,这样就把文本的连续性和上下文关系给破坏了。
 
RNNLM 可是专门为处理序列数据而生的哦。它能一个词一个词地处理文本序列,还能一直记得前面的情况,就像在讲一个长长的故事,不会把情节给弄乱。怎么样,RNNLM 是不是很厉害呀!

 

你可能感兴趣的:(人工智能,自然语言处理,机器学习)