神经网络基础知识学习笔记

教材选用《人工智能及其应用（第五版）》，蔡自兴等著；

---

1.了解人工神经网络的基本特性和结构；

人工神经元模型

人工神经元由n个输入xi和一个输出y(t)组成，b为神经元阈值，wij为连接权系数，f()为输出变换函数。

f()通常采用0和1这样的二值函数，模型的基本形式为Threshold Logical Unit（线性阈值单元），TLU解决的问题是线性可分的，与、或、非等简单逻辑都可通过单个TLU实现。

前馈神经网络图

递归神经网络图

人工神经网络的结构基本有两类：即feedforward neural network（前馈网络）和feedback neural network（反馈网络）。前馈网络的各神经元分层排列，层间没有反馈；反馈网络有的神经元的输出反馈至同层或前层神经元，如果是闭环的反馈网络称为Recurrent neural network（递归网络）。

人工神经网络主要通过两种方式学习：Supervised learning（有监督学习）和Unsupervised Learning（无监督学习）两种，增强学习可视作有监督学习的一种特例。

---

2.了解人工神经网络是怎样学习的；

1）基于赫布规则的神经网络学习

Hebb's rule（赫布规则）是Neuroethology（神经行为学）的基本概念之一，描述如下：

When an axon of cell A is near enough to excite a cell B and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes place in one or both cells such that A’s efficiency, as one of cells firing B, is increase.（当神经元A的轴突与神经元B很近并参与了对B的重复持续的兴奋时，这两个神经元或其中一个便会发生某些生长过程或代谢变化，致使A作为能使B兴奋的细胞之一，它的效能增强了）

赫布学习规则

基于赫布规则的神经网络学习称为Hebb  Learning（赫布学习），赫布学习常用于识别的学习，下面是一个有监督的赫布学习示例：

1.用矩阵向量表示字母M和L

2.用赫布规则训练神经网络

3.识别字母M或L

在上述过程1中取训练（采样）输入，过程2按照赫布规则学习得到权重函数w，用于过程3中的识别输出期望。还有一个赫布学习示例点击这里查看。

2）基于反向传播的神经网络学习

Backpropagation（反向传播）是用于训练人工神经网络的常用算法 ，BP网络是一种典型的前馈网络，反向传播包含从输出节点开始，反向地向隐层传播由总误差引起的权值修正，所以称为“反向传播”。

权值修正公式

反向传播要对网络中所有权重计算损失函数的梯度，再将梯度反馈给最优化方法，用来更新权值以最小化损失函数。

1.计算输出层的误差用于更新隐层的权值

2.再基于隐层计算的误差更新上一层的权值

3）Hopfield神经网络

Hopfield神经网络是一种递归神经网络，它的特点是结合了联想存储和二元系统，保证了局部的最小收敛。

一个有四个节点的Hopfiled网络

Hopfield神经网络分为离散型和连续型两种，这里以离散Hopfield网络为例进行学习：离散Hopfield网络是单层全互联的，如上图所示，每个神经元取二值（0/1或1/-1），神经元间的连接是对称的，即wij=wji。