学习日志（二）:神经网络：从人脑到人工

  上一篇文章我们简单的讲述了关于人工智能的几个概念，这篇文章我们将对人工神经网络展开来讲，废话少说，小二，上菜！
  我们知道，神经网络分为生物神经网络和人工神经网络。其中，人工神经网络（后文简称神经网络）是一种从结构、实现机理和功能上模拟人脑神经网络的数学模型，说白了就是模拟人类的大脑。为了更好的把读者带进坑，我们就先简单讲解一下人脑神经网络，让你不知不觉的进坑。

1.生物神经网络

  众所周知，人类大脑是人体最复杂的器官，由神经元、神经胶质细胞、神经干细胞和血管组成. 其中，神经元（Neuron），也叫神经细胞（Nerve Cell），是携带和传输信息的细胞，是人脑神经系统中最基本的单元。人脑神经系统是一个非常复杂的组织，包含近860亿个神经元 ，每个神经元有上千个突触和其他神经元相连接.而早在1904年，生物学家就已经发现了神经元的结构. 典型的神经元结构大致可分为细胞体和细胞突起。具体结构如下图所示：

  （1） 细胞体（Soma）是神经元的主体，相当于一个信息处理器，对来自其他神经元的信号进行求和，并产生神经脉冲输出信号。对应生理活动：兴奋或抑制
  （2） 细胞突起是由细胞体延伸出来的细长部分，又可分为树突和轴突.
  (a) 树突（Dendrite）可以接收刺激并将兴奋传入细胞体. 每个神经元可以有一或多个树突.也就是说树突主要起感受器的作用，并且可以接受一个或者多个输入。
  (b) 轴突（Axon）可以把自身的兴奋状态从胞体传送到另一个神经元或其他组织. 每个神经元只有一个轴突.也就是说轴突主要起传输的作用，并且只有一个输出。
  神经元可以接收其他神经元的信息，也可以发送信息给其他神经元. 神经元之间没有物理连接，中间留有20纳米左右的缝隙. 神经元之间靠突触（Synapse）进行互联来传递信息，形成一个神经网络，即神经系统. 突触可以理解为神经元之间的链接“接口”，将一个神经元的兴奋状态传到另一个神经元. 一个神经元可被视为一种只有两种状态的细胞：兴奋和抑制. 神经元的状态取决于从其它的神经细胞收到的输入信号量，及突触的强度（抑制或加强）. 当信号量总和超过了某个阈值时，细胞体就会奋，产生电脉冲. 电脉冲沿着轴突并通过突触传递到其他神经元.
流氓式总结： 根据上面的描述，我们对生物神经网络的特点做如下总结：

1. 每个神经元都是一个多输入单输出的信息处理单元；
2. 神经元输入分兴奋性输入和抑制性输入两种类型；
3. 神经元具有时空整合特性和阈值特性；
   PS :
   时间整合： 各输入脉冲抵达神经元的时间先后不一样，总的突出后膜电位为一段时间内的累积。
   空间整合： 同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激所引起的膜电位变化的代数和。
4. 神经元输入与输出间有固定的时滞，主要取决于突触延搁。

2.人工神经网络

  1943 年，心理学家 Warren McCulloch 和数学家 Walter Pitts 最早提出并给出了人工神经网络的概念及人工神神经元的数学模型，这种神经元模型称为MP 模型，至此开启了人工神经网络研究的序幕.为了使得建模更加简单，以便于进行形式化表达，我们忽略时间整合作用、不应期等复杂因素，并把神经元的突触时延和强度当成常数。下图就是M-P模型示意图。

  结合示意图来看，X1,X2…,Xn 是该神经元的输入，相当于来自不同神经元的刺激；由于生物神经元具有不同的突触性质和突触强度，所以对神经元的影响不同，我们用权值w 来表示，其正负模拟了生物神经元中突出的兴奋和抑制，其大小则代表了突出的不同连接强度；θ表示为一个阈值（threshold），或称为偏置（bias）；我们对全部输入信号进行累加整合，相当于生物神经元中的膜电位（水的变化总量），其值就为下图公式计算所得的X.如果有看到公式y=wx+b不要惊慌失措，和我这里列出来的公式是一样的，无外乎正负号和字母的区别。

  上式得到的X将会作为激活函数的输入，通过激活函数引入非线性变换得到整个神经元最后的输出。当然实际的网络中处理单元和过程远比这个复杂，我们这里只说个意思，懂的都懂！关于几个常用的激活函数我会在后面的文章专门进行补充。

3.神经网络发展简史

参考文献：
1.神经网络与深度学习
2.神经网络的基本原理
3.神经网路的基础知识
4.神经网络学习之M-P模型