人工神经网络——理解人工神经元和神经网络

前言

人工神经网络主要根据大脑神经元构建人工神经元，并且按照一定的拓扑结构建立神经元之间的连接，模拟生物神经网络。早期模型强调生物合理性，目前更加强调对认知能力的模拟，完成某种特定任务。人工神经网络系列博客持续更新。由于本人更喜欢使用Word和Mathtype，所以较多截图。如果我的理解有欠缺或者错误，望指出。

目录

一、生物神经元

二、人工神经元模型

三、生物神经网络

四、人工神经网络

4.1 模拟生物神经网络

4.2 网络结构

五、总结

---

一、生物神经元

大脑神经系统是由成千上万的生物神经元通过突触相互连接的复杂神经网络，因此神经元是神经系统的基本组成单元，用于产生神经冲动和传输神经冲动。下图展示了一个典型的生物神经元结构：  

                                                     

生物神经元主要由细胞体、树突和轴突组成。

（1）树突：从细胞体向四周分散开来的突起称之为树突，用于接收神经冲动，神经元细胞有一个或多个树突。与不同神经元连接的树突强度有强有弱；

（2）细胞体：细胞体细胞膜上存在受体，可以与神经冲动的神经递质结合，产生兴奋或者抑制。神经元所获得的输入信号的积累超过某个阈值时，处于兴奋状态，否则为抑制状态；

（3）轴突：将自身的兴奋传递到下一个神经元细胞的树突

二、人工神经元模型

       人工神经元是人工神经网络的基本单元。模拟生物神经元，人工神经元有1个或者多个输入（模拟多个树突或者多个神经元向该神经元传递神经冲动）；对输入进行加权求和（模拟细胞体将神经信号进行积累和树突强度不同）；对输入之和使用激活函数计算活性值（模拟细胞体产生兴奋或者抑制）；输出活性值并传递到下一个人工神经元（模拟生物神经元通过轴突将神经冲动输入到下一个神经元）。

                                                                  

人工神经元的计算描述。假设人工神经元有n个输入，定义输入向量,则人工神经元的加权求和值（净输入值）由下式计算：

                                                                               

式中，，b为偏置变量。

将输入到激活函数中，可以得到人工神经元的活性值也即输出值：

                                                            

三、生物神经网络

根据初中学习的生物学知识可知，我们动物学习经验、学习记忆和感觉的产生是大量的神经元产生神经冲动和传递神经冲动的作用，并不是单个神经元就能完成上述任务。因此，主要研究由神经元组成的神经网络如何工作。

       Hebb提出了细胞联合（突触可塑性）基本原理：当神经元A的有个轴突和神经元B非常接近，足以对它产生影响，并且持续地、重复地参与对神经元B的兴奋，那么神经元A和B发生某种生理变化，以致于神经元A成为神经元B兴奋的细胞之一。简单例子：巴甫洛夫的条件反射实验，每次给狗狗喂食时，都会先摇响铃铛，时间足够长后，摇响铃铛，即使不给狗狗食物，狗狗也会分泌唾液；原因即，狗狗的摇响铃铛激发的神经元，食物出现激发的神经元，二者关联加强，突触效能加强。

       综上所述，突触的连接强度可以随着突触前后神经元的活动而变化，且通过重复足够次数，可以储存在长期记忆中。

四、人工神经网络

4.1 模拟生物神经网络

生物神经网络是大量神经元通过一定的连接方式形成；人工神经网络是通过大量的人工神经元通过一定的连接方式组成。使用人工神经元的连接权重模拟突触；激活函数模拟细胞体对神经冲动的兴奋或者抑制；使用学习规则（误差纠正学习，Hebb学习和竞争学习，注：知识有限，也许不够全面）进行权重学习，模拟突触可塑；将训练数据重复输入多次，模拟重复足够次数可以存储长期记忆。

4.2 网络结构

4.2.1 前馈网络（正在学习）

                                                                                      

（1）定义：信息传播单向。前馈神经网络按照传输信息的次序将神经元分为不同的层，每一层神经元接收前一层神经元的输出，将输出传递至前一层神经元。

（2）实例：全连接前馈神经网络和卷积神经网络

（3）一句话总结：前馈网络是通过非线性函数的多次复合实现输入和输出的复杂映射关系

4.2.2 记忆网络（挖坑，以后填）

                                                                                        

（1）定义：神经元不仅可以接收其他神经元的信息，而且可以接收自己的历史信息；信息传播可以单向也可以双向。

（2）实例：循环神经网络、Hopfield网络。

（3）一句话总结：记忆网络可以视作一个程序，具有计算和记忆能力

4.2.3 图网络（挖坑，以后填）

                                                                                        

（1）定义：图网络用来解决输入为图结构的数据，例如社交网络；节点之间连接时可以有向或者无向，而且可以收到相邻节点或自身的信息。

（2）实例：图卷积网络

五、总结

 

本文主要参考了邱鹏老师的《神经网络与深度学习》。