计算语言研究的先驱
最近在看计算语言学的书，突然想了解下这些模型、定律之类的由来，就开始搜集资料，整理了一下，写成本博文。不愧是大牛们啊，东西有点难理解，所以本博文只写了点皮毛。
1.Markov链
这里涉及到一个随机过程的概念，根据个人理解，这个概念可以归结为以下两点：（1）一个时间函数，随时间改变而改变；（2）每个时刻函数值不确定，是随机的，即每个时刻上的函数值按一定概率分布。例如，语言的使用，语言就是一系列具有不同随机试验结局的链。
关于链有以下三种：（1）独立链：有一个原记忆信源发出（Markov过程的原始形式）；（2）等概率独立链；（3）不等概率独立链。
Markov链：前一时刻的函数值对后一时刻有影响，由有记忆信源发出。
Markov链的分类：（1）一重Markov链（对应二元语法）；（2）二重Markov链（对应三元语法）；（3）三重Markov链（对应四元语法）；......（注意：重数越大越接近真是文本，但会引发数据稀疏问题，关于数据稀疏的问题解决方法网上有很多资料，我在后续博文中也会跟进）。
2.Zipf定律
主要由研究词的出现频率和词的序号的关系时得到。
（1）最原始的Zipf定律：
（单参数序号分布定律）其中0<c<1,
;
（2）Mr.Joos修正：
（双参数序号分布定律）其中b>0,0<c<1,;
（3）B.B.Mandelbrot: 
(三参数序号分布定律) 其中
，b>0,c>0,;
几点说明：
c与出现概率最高的单词的概率大小有关；
b与高概率单词的数量的多少有关，b是非递减函数，随着r的增大，b并不是减小；
a与单词的数量n有关，自由度大，灵活，可适应测定数据。
特殊情况：
15<r<1500时，频率相同的词群容量不大；
r>1500时，即当单词频率较小时，频率相同的词群的容量大大增加，此时会出现数据稀疏问题。
归纳几点：
r增大到一定值时，画出的频率和序号关系图不再是直线，而是阶梯形的破碎折线；
单词序号雷同的数目是随单词频率的减少而逐渐增大的；
频率最高的前几个单词占语言文本的较大比例。
3.Shannon关于“熵”的研究
熵：度量随机试验不定度的大小。
信息量的关于被消除的熵。也就是说你得到信息量越多，熵越小，事情越确定。
可以用
度量熵的合理性（n为等概率结局的随机试验）：
（1）n越大，熵越大；
（2）做两个随机试验的复合试验，每个有n个可能结局，则此复合试验共有n的二次方个结局，如掷两颗骰子的 熵是掷一颗骰子的两倍，即
；
（3）两个随机试验的复合试验，一个有m个结局，另一个有n个结局，则 
。
n个等概率结局和n个不等概率结局的比较
假设
（n个结局，等概率）
（n个结局，不等概率，第i个概率为Pi）
随着试验结局不等概率，减少了这个随机试验的不定度，所以
。
另一个概念是困惑度（perplexity）：在随机试验中选择随机变量的加权平均数。熵越大，困惑度越大。通俗点讲就是，熵越大，越不确定，你不就越感到困惑了嘛。。。
熵和困惑度用于评估N元语法模型的计量方法。（关于条件熵、相对墒之类的后文会继续跟进，详细讲述）
4.Bar-Hilel的范畴语法
主要思想：任何词都可以根据它在句子中的功能归入一定的句法类型。此处会用到一些类似的句法类型演算规则：
（1）(a)(a\b) ->b （2）(a\b)(b\c) ->a\c
（3）(b/c)(c) ->b （4）(a/b)(b/c) ->a/c
个人愚见：（1）（3）类似于离散数学中的消解规则;（2）（4）有点像经常说的传递性。
5.Harris的语言串分析法
这个有点难限于本人能力有限。。。只简单介绍几个概念吧！
词串：任何一个句子或其组成部分中按线性顺序排列的一个或多个词。
串式：用词类或其次类替换词串的具体的单词而形成的符号串。
句子：基于串通过附加、连接和替换等方式结合而成。
6. O.C.kyjiarHHa的语言集合论模型
模型 L={w，o} 其中w为词集合，o为在w上成立句子的集句。
成立句子：语法正确，不考虑语义是否正确。
不成立句子：语法部分就有错误。
词的域：一个词及其词行变化的全部形式的集合。
词的族：等价性可以把集合分化为一系列不相交子集合，这个子集合叫做族。