人工神经网络—神经元的数学模型

1. 简介

人工神经网络(Artificial Neural Networks)简称(NEURAL NETWORKS)，是集体智慧的结晶。人工神经网络的方法曾经经历过起起落落，也经历过几乎无人问津的地步，但是近年来突然受到非常广泛的关注，其原因在于以人工神经网络为理论基础的深度学习算法(DEEP LEARNING)，在几乎所有的机器学习领域取得突破性进展，获得了比深度学习之前的传统算法高很多的性能。尽管深度学习在实践中获得了非常好的性能，但它最本质的理论基础却和人工神经网络没有区别，在上个世纪八十年代就基本已经成熟了。

2. 人工神经网络的来源

人工神经网络的基本思想是仿生学，即对人脑的神经元机制进行模拟。当计算机的计算资源较低的时候，只能模拟人脑中为数不多的神经元的运作，系统性能自然不高。而从2000年以来，随着计算机硬件能力的发展，我们模拟几十万甚至几千万神经元的运作，系统的性能就有了明显的提升。我个人觉得¹，从本质来说，目前流行的深度学习算法只是一个规模巨大的神经网络而已。

人工神经网的本源是人工智能的仿生学派。从人工智能这一学科诞生以来，就有两种学派此消彼长。第一种学派认为，人工智能模拟的是人类大脑对于世界的认识，因此，研究大脑认知机理，总结大脑处理信息的方式，是实现人工智能的先决条件，我们把这一派叫作人工智能的仿生学派。仿生学派认为计算机算法只有深入地模拟大脑的认知机制和处理方式，才能实现人工智能。而另一种学派却认为，在现在以及可预知的未来，我们无法完全了解人脑的认知机制，另一方面，计算机与人脑具有截然不同物理属性和体系结构，因此，片面强调计算机对人脑的模仿既不可能，也不必须。人工智能的研究应该立足于现有计算机的物理属性和体系结构，用数学和逻辑推理的方法，从现有的计算机结构中获得确定的知识，而不是一味的强调对人脑的模仿，就好比飞机的飞行并不像鸟，但比鸟飞得更快，这一学派为人工智能的数理学派。

前面我们学到的支持向量机就是人工智能数理学派的典型代表，接下来要学习的人工神经网络是仿生学派的典型代表。这两种学派在历史上存在冲突与斗争，主导了人工神经网络这一具体领域的起落与涨跌。

3. 人工神经网络的历史发展

3.1 生物模型

我们从人工神经网络的历史出发，最初在1943年，心理学家w.s.McCulloch和数理逻辑学家W.Pitts基于神经元的生理结构，建立了单个神经元的数理模型，我们把他叫作MP模型。

图1 神经元生理结构示意图

这幅图是单个神经细胞的示意图。外部的刺激通过树突传递到神经元细胞核，经过细胞和加工后，作为输出传递给突触。

图2 神经元的数学模型示意图

MP模型是将外部刺激模拟为一串数字$x_1$，$x_2$，···，$x_m$的输入，将每个树突对输入的刺激加工过程模拟为以某个权重对输入进行加权，将细胞核对输入的处理模拟为一个带有偏置的求和过程，最后的输出是用激活函数对求和的结果进行非线性变换而得出，因此，MP模型中，输入和输出的对应关系为

3.2 数学模型

如果我们以向量的形式表示，W=[${\omega }_1$,${\omega }_2$,···,${\omega }_m$]${}^T$，X=[$X_1$,$X_2$,···,$X_m$]${}^T$，则上式将变成

神经元的数学模型提出后，并没有引起学术界的重视，其原因在于这个模型太简单，与实际相差甚远。单个神经元细胞的确会在外界刺激后做出反应，但是这个反应是否是对输入的刺激进行加权求和再加上偏置的形式，是一个值得详细探讨的问题。到目前为止，没有生物学的实验支持这样一个简单的数学模型。因为，无论是动物还是人，其实际的神经元运作机制比这个模型复杂很多。从生物学上来讲，人类至今没有完全搞清楚神经元的运作机制。

下面试着从数学的角度来理解w.s.McCulloch和W.Pitts为什么提出这种加权求和的模式。假设神经元的输出y是$X_1$,$X_2$,···,$X_m$的函数，将其进行泰勒展开，如下式所示

可以看到MP神经元模型其实是对一个复杂的函数一阶泰勒近似。值得一提的是，虽然神经元的MP模型并不能反映真实的神经元运作机制，但是在机器学习领域中却非常有用。目前最常用的人工神经网络和深度学习的基本结构单元仍然是MP模型。在将近半个世纪的历史中，不同的研究者提出更加复杂的神经元模型，并以此为基础开发了其他的人工神经网络算法，例如基于神经元集聚和释放电荷机制等脉冲神经网络(Spiking neural networks)，又如基于神经元的反馈机制构建了hopfield神经网络，但是这些更复杂的神经元模型在影响力和应用的广泛程度上远远不如简单的MP模型。以下是我个人的观点¹，既然目前为止，我们无法知道神经元的具体运行机制，那么不管复杂还是简单的神经元模型可能离真实都很遥远。既然如此，那么简单一点可能会更有用吧！当然，我们也期待神经科学的进一步发展解开更多神经元运作的奥秘，为开发机器学习的新算法注入新的灵感。

4. 结尾

作为结尾，有两道思考题给大家：

• 你觉得人工智能的数理学派更有道理，还是仿生学派更有道理？
• 你认为未来这两个学派的发展前途如何呢？

参考资料

1. 浙江大学《机器学习》课程—胡浩基老师主讲

如果文章对你有帮助，请记得点赞与关注，谢谢!

---

1. 浙大胡浩基教授 ↩︎ ↩︎