统计语言模型(Statistical Language Models)（条件概率公式）

统计语言模型 (Statistical Language Models)

条件概率公式P(s)=P(w₁)P(w₂|w₁)p(w₃|w₁w₂)...P(w_n|w₁w₂...w_n-1)
    其中 P (w₁) 表示第一个词w1 出现的概率；P (w₂|w₁) 是在已知第一个词的前提下，第二个词出现的概率；以次类推。不难看出，到了词w_n，它的出现概率取决于它前面所有词。从计算上来看，各种可能性太多，无法实现。因此我们假定任意一个词wi的出现概率只同它前面的词 w_i-1 有关(即马尔可夫假设），于是问题就变得很简单了。现在，S 出现的概率就变为：

P(S) = P(w₁)P(w₂|w₁)P(w₃|w₂)…P(w_i|w_i-1)…
接下来的问题就是如何估计 P (w_i|w_i-1)。现在有了大量机读文本后，这个问题变得很简单，只要数一数这对词（w_i-1,w_i) 在统计的文本中出现了多少次，以及 w_i-1 本身在同样的文本中前后相邻出现了多少次，然后用两个数一除就可以了P(w_i|w_i-1) = P(w_i-1,w_i)/P(w_i-1)

 

                P(X)p(Y|X) 
 P(X|Y)  = -----------
                    P(Y)

参考文献：http://googlechinablog.com/2006/04/blog-post.html