AI 发展的三次危机

前几天闹得沸沸扬扬的OpenAI宫斗事件终于落下帷幕，事情以奥特曼回归OpenAI继续担当CEO并且重组董事会结局。

看起来还算一个不错的结果。

OpenAI 作为目前全球大模型的领先者和佼佼者，他的一举一动肯定会影响整个人类 AI 的发展历程，这次宫斗事件在未来大概率也会被作为一次里程碑事件写入历史。

实际上，AI 在历史中的发展中，面临的分歧和危机远不止这一次。

每一次的危机都困难重重，要么导致 AI 发展缓慢，要么就点错了技能树，走向了另一个极端，而每一次的危机破局，都见证了一次新的科技突破。

今天就一起来看一看，那些年，AI 发展的几个重大危机，以及是如何破局的吧。

文章有点长，完整阅读大概15分钟，当个科技故事读喽。

1、人工智能初现端倪

研究人工智能算法的同学可能知道，目前人工智能普遍的实现方式，是设计深层次的神经网络，通过对大量数据样本进行训练，获取到AI模型，然后利用训练好的模型，完成各项任务的推理工作。

因此，无论是图像任务、语音任务还是文字转图像任务（AI绘画），大抵都是如此的逻辑。

这种对AI模型训练的方法，基本都是基于深度学习的算法而来。

深度学习中所谓的深度，指的是在人工神经网络中，网络的层数很深，神经网络可以深度地“自学习”数据样本中的各种特征。

因此，可以不夸张的讲，深度学习，是人工智能的灵魂。

但是，在人工智能出现的最开始，却不是这样的。

人工智能初现

1956 年，马文·明斯基等四位美国科学家，共同发起了达特茅斯人工智能夏季研究计划，开始了人工智能领域的研究。

在人们刚开始研究人工智能的时候，关于如何构建人工智能，当时存在两种不同的观点。

一种观点主张使用逻辑和计算机程序来设计人工智能，而另一种则主张让人工智能直接从数据中进行自我学习。

前者暂且称之为“设计派”，他们认为，人工智能可以基于逻辑和计算机程序被设计出来。

只要给出明确的规则和逻辑，编写程序输入计算机，就能让计算机拥有智能。

举个例子，只要我们能够给出足够的规则来描述什么是一只猫，那么计算机只要看到世界上任何一只猫，它都可以识别出来。

另一派则被称之为“学习派”。他们主张借助大量的数据样本，让计算机程序自己学习，慢慢拥有智能。

虽然“学习派”的观点和目前构建人工智能的方式很相近，但在当时的情况下，大多数的人工智能科学家，却更倾向于“设计派“”。

为什么呢？

因为设计派的理念与当时的环境和计算机研究更相符。

毕竟，当时的人们，让计算机实现数学计算，并不是让他自己去学习的，而是通过编程，把一加一等于二这种简单的规则告诉他，他自己就可以扩展完成更多的复杂计算。

于是，在上世纪七八十年代，在医疗行业就出现了所谓的人工智能专家系统。

科学家和医生为了识别某一致病菌，会依据以往的案例和数据，把病菌的特点和患者的表现输入到计算机中作为数据库，然后将新的症状与数据库中已有的记录进行匹配，输出匹配结果，完成专家系统的诊断。

但是人们很快就发现，对于稍微复杂的病症，医生们更倾向于自己的经验判断，而非专家系统的推理结果。

在复杂病症的处理上，当时的人工智能专家系统，显得力不从心。

在当时，一个更加典型的例子是积木世界，这也导致了人们对于基于“设计派”观点构建人工智能的不信任。

2、人工智能“第一次危机”——“设计派”行不通

积木世界（Blocks World）是MIT AI Lab（麻省理工人工智能实验室）在20世纪60年代推出的一个项目。

当时为了处理视觉问题，将人类所在的真实世界进行了简化，称为“积木世界”。积木世界由矩形积木组成，积木可以堆叠起来组成新的结构。

该项目的目标是编写一个能够理解命令的程序，例如“找到一个大的黄色积木并将其放在红色积木上面”，并让机器人手臂执行命令完成对应动作。

这看起来小孩子都会玩的游戏，但在当时，却需要一个庞大而复杂的程序来实现。

而且这个程序后来变得十分冗长，以至于编写该程序的学生——特里·维诺格拉德离开该实验室之后，程序因为错误百出，频频崩溃，最终被无奈地放弃。

这个看起来很简单的问题，在使用程序编码实现的过程中，却异常的艰难，几乎不可能成功。

就算解决了积木世界的问题，想要通过编程完成一栋现实中大楼的建设，这中间还是有巨大的技术鸿沟。

于是，通过设计一种特定的规则，让机器拥有智能这条路，开始碰壁了。

“设计派”们心灰意冷，放弃了积木问题的研究。

这也使人们意识到，单纯的靠规则和逻辑，完成复杂现实世界的推理，是不可行的。

3、第一次危机破局——学习派初见成效

“设计派”的路走不通，科学家们开始发力，寻找另一种可行的方法。于是，“学习派”越来越被受到重视。

1957年，康奈尔大学的弗兰克·罗森布拉特教授发明了“感知器”，这是深度学习的前身。

感知器是具有单一人造神经元的神经网络，它只有一个输入层，一个神经元和一个输出。

可以说，他是现代人工神经网络中的最小单元。

感知器的出现，其实已经初步具有现代深度学习的雏形，只不过它是一个单独的神经元，并没有现代神经网络复杂多层的结构。

在发明感知器的同一年，美国军方就利用感知器完成了一个程序，让计算机识别有坦克的图片，训练一段时间后，计算机竟然真的可以从新的图片中正确的识别出坦克。

这在当时，引起了轰动。

这也意味着，设计派走不通的路，学习派可以走通，并且已经初见成效。

但是接下来又遇到了新问题——

怎么让感知器算法处理更加复杂的问题呢？总不能一直识别坦克吧，它能不能和人一样，能听，能说，能写，能画呢？

于是，人工智能的研究者们开始尝试，把感知器和感知器连接起来，组成更大的人工神经网络。

可是，还没开始，这条路，就被人工智能之父——堵死了。

4、人工智能“第二次危机”——多层神经网络无法训练

马文·明斯基，1956年达特茅斯人工智能夏季研究计划的发起人，大家眼中的——人工智能之父。

在1969年，它出版了一本书，书名就叫《感知器》。

在书中，明斯基给出了几条结论。

第一条是: 单个感知器，只能解决有限的问题。要解决更复杂的问题，必须要把更多感知器连接起来，组成人工神经网络。

第二条是: 我们无法找到一种可行的算法，来对多层的人工神经网络进行训练。

这段话什么意思？

就好比有人告诉你，我们发现了，圆形可以稳定高速的在地上移动，我们可以利用这个特性造出快速的交通工具。

甚至，已经有人造出了独轮车，但是，也只能如此了，想要实现高铁那种高速、复杂又载人多的功能，是不可能办到的。

我们找不到办法可以办到，现在不行，将来也不行。

而且告诉你的不是别人，正是独轮车的发明人——人工智能之父。

于是，一代人工智能研究者，心灰意冷。导致了在后来长达十几年的时间里，人工智能的发展处于停滞状态。

一句“多层人工神经网络无法训练”，迎来了人工智能的第二次危机。

5、第二次危机破局——玻尔兹曼机

1985 年，特伦斯·谢诺夫斯基，也就是上面介绍的《深度学习》这本书的作者，和另一个人工智能专家杰弗里·辛顿，提出了一种算法，可以让多个感知器共同组成一个人工神经网络。

这个算法叫做"玻尔兹曼机"。

玻尔兹曼机的出现，证明了科学家们可以找到一种方法，让多层人工神经网络处理更加复杂的问题。

在随后的 1986 年，大卫·鲁姆哈特提出了"误差反向传播"算法，它比玻尔兹曼机更简单高效。

误差反向传播算法几乎是现代深度学习中的灵魂，它可以让一个神经网络得到上一次推理结果的反馈，从而不断纠正自己，完成自我训练，也就是使神经网络具有自学习能力。

如果说深度学习是人工智能的灵魂，那么反向传播算法就是深度学习的灵魂。

于是，在反向传播算法的加持下，人工智能的第二次浪潮到来。

可是这股浪潮，到了 1995 年前后，又停滞不前了。

6、人工智能“第三次危机”——算力跟不上

这一次是因为算力太拉胯了。

上世纪90年代，国内计算机才刚刚开始走向大众。当时的计算机芯片的计算能力少的可怜。

据说当时有人在电脑上运行人工智能程序，神经元的个数不敢超过 20 个，一个模型的参数估计也就几十几百个。

而现在的大模型，比如最火的GPT4的参数，是以万亿为单位的。

如此多的参数量，没有大量的算力和硬件计算资源，是根本行不通的。

于是，人工智能领域的研究者除了不断优化算法，其余的时间只能等待，等待计算机的算力的爆发时刻，在继续研究层数更深，参数更大的大模型。

怎么等？能等到么？

在芯片行业有个定律叫“摩尔定律”，是说，每隔两年，芯片内晶体管的数量增加一倍，简单来说，就是芯片的运算能力增加一倍。 

这种指数级的增长是很吓人的。

从上世纪开始，摩尔定律配合着时间，开始发挥他的魔力。

几十年间，一个同等大小的芯片，其算力已经是最初的几百几千万倍了。

最近几十年，随着芯片制程的不断发展，从28nm到14nm，再到7nm，再到5nm，芯片算力持续攀升。

从2012年开始，英伟达CUDA编程模型的问世，GPU架构的不断升级，人工智能多卡训练成为现实。

这一系列的科技加持，使得人工智能的春天，又一次到来。

这一次，人工智能的发展像是洪水猛兽，一发不可收拾。

算力需求持续走高，倒逼着芯片架构不断创新，国内外AI芯片如雨后春笋般出现。

算力的加持又使得人工智能的应用延伸到各行各业。甚至反哺芯片制造业，芯片制造业下的蛋，最终又成了鸡。

AI模型不断优化，AI训练的速度和精度不断被刷榜，顶会期刊不断SOTA。

这一次，算法成熟了，算力也跟上了，人工智能的研究，终于可以在大模型上崭露头角。

于是，chatGPT，走向大众，破圈了。

国内的百度也在积极部署文心大模型。有人说，随着人工智能大模型的成熟，这一波的科技浪潮，要远比移动互联网带来的影响更大。

甚至，它可能掀起第四次工业革命。

而这一次的浪潮，我们每一个人都在经历。

7、感想

一个新的技术的发展，离不开当时的科技环境。

人工智能从最初基于规则进行的程序设计，到感知机，到玻尔兹曼机，到反向传播算法、再到现在的AI芯片算力加持，每一步走的都异常艰难。

很早之前就看过说，人工智能的三驾马车，是数据、算法和算力。

• 数据得益于互联网的发达，chatGPT的训练数据就来自于各个国家的互联网。

• 算法得益于人工智能算法科学家几十年的沉淀和不断持续的优化。

• 算力得益于芯片制程的不断创新和摩尔定律与时间的魔法效应。

三驾马车都齐了，人工智能还能发展不起来么？

每一个行业从萌芽，到初具规模，走的都不容易。幸运作为一名深度学习算法开发者，参与了这次人工智能发展的浪潮，见证这次的科技变革。

有朝一日随风起，扶摇直上九万里。

原文首发于：^ 什么是人工智能的三次危机