二、自然语言处理发展历程

1.自然语言处理发展历程

自然语言处理的发展历程经历了兴起阶段、符号主义、连接主义和深度学习阶段。

• 兴起阶段：自然语言处理的萌芽期，代表人物包括图灵和香农。
• 符号主义：自然语言处理的发展器，代表任务是乔姆斯基和他的生成文法。
• 连接主义：自然语言处理的发展器，代表方法为统计机器学习。
• 深度学习：自然语言处理的鼎盛期，代表人物为深度学习三巨头：Yoshua Bengio、Yann LeCun、Geoffrey Hinton。
  

2 兴起阶段

2.1 致命密码：一场关于语言的较量**

• 苏格兰女王玛丽能使用了一种传统的文字加密形式 - 凯撒密码对她们之间的信件进行加密.
  

2.3 自然语言处理的萌芽期

• 兴起于1950年前后，在二次世界大战中，破解纳粹德国的恩尼格码成为了盟军对抗德国的重要战场，密码的破译使得盟军在西欧战场提前胜利2年.
  

• 1948年香农把马尔可夫过程模型（Markov Progrees）应用于建模自然语言，并提出把热力学中“熵”的概念扩展到到对信息进行建模。熵可以帮助人们对信息进行度量.

3 符号主义vs连接主义

3.1 符号主义

3.2 连接主义

• 机器学习算法通过对原始的文本数据进行特征提取和构建模型，并使用机器学习算法对NLP的问题进行建模，具体过程如下图所示。
  

4 深度学习

• 从2006年深度神经网络反向传播算法的提出开始，伴随着互联网的爆炸式发展和计算机（特别是GPU )算力的进一步提高，自然语言处理领域迈入了深度学习时代。
• 深度学习不再依赖于语言学知识和有限的标注数据，通过互联网记录的大规模数据，并结合深度神经网络的强大拟合能力，人们可以非常轻松地应对各种自然语言处理问题。