生物的神经系统与机器的人工神经网络

生物的神经系统与机器的人工神经网络

---

前言

因为本人是学生物的，并且深度学习的核心——人工神经网络与生物的神经系统息息相关，故想要在本章探讨一下生物的神经系统与机器的人工神经网络这两者之间的关系

参考文献：
从生物神经元到人工神经元
《动手学深度学习》

https://zhuanlan.zhihu.com/p/489021459

https://blog.csdn.net/minfanphd/article/details/132868478#comments_28723287

---

一、人工神经网络

在所示的神经网络中，输入为$x_1,\dots ,x_d$，
因此输入层中的输入数（或称为特征维度）为$d$。
网络的输出为$y$，因此输出层中的输出数是1。
需要注意的是，输入值都是已经给定的，并且只有一个计算神经元。
由于模型重点在发生计算的地方，所以通常我们在计算层数时不考虑输入层。
也就是说，图中神经网络的层数为1。
我们可以将线性回归模型视为仅由单个人工神经元组成的神经网络，或称为单层神经网络。

对于线性回归，每个输入都与每个输出（在本例中只有一个输出）相连，
我们将这种变换（图中的输出层）,称为全连接层 或称为稠密层

人工神经网络可以分为三层：输入层、隐藏层和输出层。

1. 输入层是网络的起点，接收外部输入的数据。例如，对于图像识别任务，输入层可以是像素值。

2. 隐藏层是网络中介层，负责对输入数据进行处理和转换。隐藏层可以有多层，每一层都可以包含多个神经元。隐藏层的数量和每一层的神经元数量是根据具体任务和网络结构设计来确定的。

3. 输出层是网络的终点，输出最终的结果。例如，对于图像识别任务，输出层可以是表示不同类别的概率分布。

也就是说，输入层接收原始数据作为输入，隐藏层用于处理和提取特征，输出层产生最终的预测或分类结果。

二、生物的神经系统

这是一张由树突（dendrites，输入终端）、细胞核（nucleus，CPU）组成的生物神经元图片。轴突（axon，输出线）和轴突端子（axon terminal，输出端子）通过突触（synapse）与其他神经元连接。

树突中接收到来自其他神经元（或视网膜等环境传感器）的信息$x_i$。
该信息通过突触权重$w_i$来加权，以确定输入的影响（即通过$x_i{w}_i$相乘来激活或抑制）。
来自多个源的加权输入以加权和$y={\sum }_i{x}_i{w}_i+b$的形式汇聚在细胞核中，
然后将这些信息发送到轴突$y$中进一步处理，通常会通过$\sigma (y)$进行一些非线性处理。之后，它要么到达目的地（例如肌肉），要么通过树突进入另一个神经元。

当许多这样的单元通过正确连接和正确的学习算法拼凑在一起，从而产生的行为会比单独一个神经元所产生的行为更有趣、更复杂，
这种想法归功于我们对真实生物神经系统的研究。

当今大多数深度学习的研究几乎没有直接从神经科学中获得灵感。如今在深度学习中的灵感同样或更多地来自数学、统计学和计算机科学。

三、关系

人工神经网络的设计灵感来源于对生物神经系统的研究和模拟，而生物神经系统的理解也受益于人工神经网络的发展。（两者相辅相成）

1. 首先，人工神经网络模型的基本单位是神经元，它的设计灵感来源于生物神经元的结构和功能。人工神经网络中的神经元也具有输入、加权、激活和输出等类似的功能。

2. 其次，人工神经网络的学习算法受到生物学习机制的启发：生物神经系统中的学习是通过突触的强化和削弱来实现的（突触可塑性）。而人工神经网络的学习算法，如反向传播算法和神经元可塑性算法，也是基于这种突触可塑性的原理设计的。

3. 此外，人工神经网络的发展也为研究生物神经系统提供了工具和方法：通过构建和训练人工神经网络，我们可以更好地理解和模拟生物神经系统的功能和行为。
   例如，通过人工神经网络的模拟，我们可以研究记忆、感知和决策等高级认知功能在生物神经系统中的实现机制。

综上所述，通过深入研究这两者之间的关系，我们可以更好地理解和模拟生物神经系统，并进一步推动人工智能和神经科学的发展。

四、相似与区别

生物的神经系统和机器的人工神经网络在某些方面有相似之处，但也存在一些区别。

4.1. 相似：

1. 结构：神经网络的设计灵感来自于生物神经系统的结构，都由大量的神经元（或人工神经元）连接而成。

2. 信息传递：都通过神经元之间的连接传递信息，通过激活和传递电信号来处理信息。

3. 学习能力：生物神经系统和神经网络都具备学习能力，可以通过输入数据和反馈信号进行训练和调整权重，从而提高性能。

4.2. 区别:

1. 规模和复杂性：生物神经系统比人工神经网络更加复杂和庞大，人工神经网络的规模和结构相对简单。
2. 功能差异：生物神经系统具有多种功能，包括感知、运动控制、记忆等，而人工神经网络主要用于特定任务的处理，如图像识别、语音识别等。
3. 算法和计算方式：生物神经系统的信息处理方式尚不完全清楚，而人工神经网络使用数学算法和计算模型来模拟神经元之间的连接和信息传递。

总之，人工神经网络是基于对生物神经系统的理解和模拟而设计的一种计算模型，虽然有相似之处，但在规模、复杂性和功能上与生物神经系统存在一定的差异。

---

总结

本章简单介绍了一下生物的神经系统和机器的人工神经网络。并了解了一下两者之间的联系。一个来自于生物的上亿年的进化，我们对其的原理并没有彻底研究清楚；另一个则是基于前者的概念，近代以来发展起来的基于机器的神经网络，我们从零开始在计算机上实现了它，但依然远远比不上生物的神经网络。另外机器的学习都是"功利"的，是为了完成某个任务。

不尚賢，使民不爭；不貴難得之貨，使民不為盜；不見可欲，使民心不亂。

–2023-9-17 进阶篇