神经网络基础知识（神经网络简介）

一、生物神经网络

• 神经元是大脑处理信息的基本单元；
• 神经元主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成 ；
  
• 树突是树状的神经纤维接收网络，它将电信号传送到细胞体；
• 细胞体对这些输入信号进行整合并进行阈值处理；
• 轴突是单根长纤维，它把细胞体的输出信号导向其他神经元；
• 一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触 ；

神经元的排列和突触的强度(由复杂的化学过程决定)确立了神经网络的功能。

• 生物神经元传递信息的过程为多输入、单输出；
• 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质；

突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。抑制性—神经元虽然接收到其他神经元传递的信息，但没有向外传递信息，该神经元称“抑制性”的；兴奋性—当一个神经元的树突接收的兴奋信息累计超过阈值，该神经元被激活并传递出信息给其他神经元。

生物神经系统的六个基本特征：
1）神经元及其联接；
2）神经元之间的联接强度（权值）决定信号传递的强弱；
3）神经元之间的联接强度是可以随训练改变的；
4）信号可以是起刺激作用的，也可以是起抑制作用的；
5）一个神经元接受的信号的累积效果决定该神经元的状态；
6) 每个神经元可以有一个“阈值”。
二、人工神经网络


单输入神经元

概念：输入、权值、偏置（域值）、净输入、作用函数（传输函数、激发函数）。
一个规范的单输入神经元如图2-1 所示。

• 输入p：轴突的信号（上一个神经元的输出）；
• 权值w：突触的连接强度（可以理解为由前一个神经元的轴突（输出）传递当前神经元的概率）；
• 阈值b：当外界刺激达到一定的阀值时，神经元才会受刺激，影响下一个神经元（即突触产生化学物质的临界值）
• 净输入n：通常称为累加器的输出；
• 作用函数f：输入和输出之间的函数关系（在神经网络中，隐层和输出层节点的输入和输出之间具有函数关系）

权值 w和阈值b是神经元的可调整标量参数。设计者也可选择特定的传输函数，在一些学习规则中调整参数w和b，以满足特定的需要。

激励函数（传输函数）

1、引用 http://blog.sina.com.cn/s/blog_4ff49c7e0102vyd1.html（神经网络激励函数的作用(转)）
2、百度百科

多输入神经元

该神经元有一个偏置值b，它与所有输入的加权和累加，从而形成净输入n ：

写成矩阵形式：

其中，W为权值矩阵。
神经元的输出可以写成：

例如，W12 的含义是：该权值表示从第二个源神经元到第一个目标神经元的连接。
神经网络的层

上图由S个神经元组成的单层网络。

• 注意，R个输入中的每一个值均与每个神经元相连。权值矩阵现有S行。
• 通常，每层的输入个数并不等于该层中神经元的数目（即R≠S）。

输入向量通过如下权矩阵W进入网络：

同样，具有S个神经元、R 个输入的单层网络能用简化的符号表示为：

多层神经网络
第一层的值矩阵可以写为 ,第二层的权值矩阵可以写为 ，等等。
如某层的输出是网络的输出，则称该层为输出层，而其他层叫隐含层。
决定一个网络的神经元个数非常重要。网络的输入/输出神经元的数量是由问题描述定义的。如果有4 个外部变量作为网络输入，那么网络就有4 个外部变量作为网络输入，那么网络就有4个输入。同样，如果网络有7个输出，那么网络的输出层就应该有7 个神经元。
那么，如果网络有两层以上的神经元时，又将如何确定各层的神经元数目？其实问题的关键在于外部问题并没有直接指明隐含层需要的神经元数目。

实际上，精确预测隐含层所需要的神经元的数目至今仍然存在一些在理论上还没有解决的问题。这个问题是一个十分活跃的研究领域。

大多数实际的神经网络仅仅只有2到3层神经元，很少有4层或更多层。

• 如何选取一种网络结构？
  应用问题的描述从如下几个方面非常有助于定义网络的结构：
  1）网络的输入个数＝应用问题的输入数;
  2）输出层神经元的数目＝应用问题的输出数目;
  3）输出层的传输函数选择至少部分依赖于应用问题的输出描述。