《数学之美》第二章自然语言处理 从规则到统计 学习笔记

1，机器智能

关于什么是机器智能，图灵给出过一个定义，叫做“图灵测试”。让用户跟一个机器交流，如果人无法判断交流对象是人还是机器，则可以说这个机器具有了机器智能，也叫通过了图灵测试。

 

自然语言发展60多年的过程，基本上可以分为两个阶段。早期的20多年，即从20世纪50年代到70年代，是科学家走弯路的阶段。直到20世纪70年代，一些自然语言处理的先驱开始重新认识这个问题，找到了基于数学模型和统计的方法，自然语言处理进入了第二阶段。

 

2，从规则到统计

自然语言中的词的多义性很难用规则来描述，而是严重依赖于上下文，甚至是“世界的知识”或者常识。

推动这个技术路线转变的关键人物是弗里德里克·贾里尼克和他领导的IBM化生实验室。采用基于统计的方法，IBM将当时语音识别率从70%提升到90%。

 

为什么这场争议持续了15年呢？首先，一种新的研究方法的成熟需要很多年；第二，也很有意思，用基于统计的方法代替传统的方法，需要等原有的一批语言学家退休。