unigrams,bigrams,trigrams

unigrams一元语法

bigrams二元语法

trigrams三元语法

ngrams第N个词的出现只与前面N-1个词相关,而与其它任何词都不相关,整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。

参考自然语言处理中的N-Gram模型详解

你可能感兴趣的:(NLP)