语言模型 Language model

N-gram Language Model

  • 目标:估计一句话中所有单词的联合概率
  • 设定window size为n,求条件概率时只考虑在i之前出现的n个单词
  • 然后利用贝叶斯公式求解每个条件概率
    语言模型 Language model_第1张图片
    但这样的问题在于训练预料中有些N gram缺失导致连乘为0,所以要做smoothing操作
    语言模型 Language model_第2张图片

Neural Language Model

考虑到N-gram的问题,提出NN模型
将条件概率中given的字的embedding作为input,NN输出的向量的第i维度为预测词在输入词典中的index
语言模型 Language model_第3张图片

语言模型 Language model_第4张图片

语言模型 Language model_第5张图片

你可能感兴趣的:(NLP,人工智能,机器学习,自然语言处理)