神经网络的历史与理论基础

神经网络的历史与理论基础

 

起步：

 

1943年,心理学家McCulloch和数学家Pitts合作,融汇了生物物理学和数学,提出了第一个神经计算模型:MP模型.

1949年,心理学家Hebb通过对大脑神经细胞、学习和条件反射的观察与研究,提出了改变神经元连接强度的、至今仍有重要意义的Hebb规则.

 

发展:

1957年,Rosenblatt发展了MP模型,提出了感知器模型:Perceptron Model,给出了两层感知器的收敛定理,并提出了引入隐层处理元件的三层感知器这一重要的研究方向.

1960年,Widrow提出自适应线性元件模型:Ada-line model以及一种有效的网络学习方法:Widrow-Hoff学习规则.

19969年,Grossberg等提出了自适应共振理论模型:ART model,并在若干年后发展出了三个版本.

1972年,Kohonen提出了自组织映射理论模型:SOM Model,称为联想存储器.

1972年,神经心理学家Anderson也提出了一个类似的神经网络结构:BSB,命名为交互存储器.

 

成熟:

1982年美国加州工学院的物理学家Hopfield提出了一个用于联想记忆和优化计算的新途径——Hopfield网络,使得神经网络的研究有了突破性进展.

1984年在Hopfield的一篇论文中,指出Hopfield网络可以用集成电路实现,很容易被工程技术人员和计算机科技工作者理解,引起工程技术界的普遍关注.

 

还没有完成的

1:迄今尚没有提出较为完善的神经网络的统一网络模型和通用学习算法;

2:多层网络的层数、隐层神经元的数量、作用函数类型的选择还缺少指导性原则;

3:网络的逼近精度与逼近的非线性映射之间的关系没有任何理论上的说明;

4:动态网络的学习算法及稳定性分析.

 

神经网络用于控制的优点

1:能够充分毕竟任意复杂度的非线性关系;

2:能够学习与适应严重不确定性系统的动态特性;

3:所有定量或定性的信息都等势分布存储于网络内的各种神经元以及连接权中,故有很强的鲁棒性和容错性;

4:采用并行分布处理方法使得快速进行大量运算成为可能.

 

对任意给定的函数f(x₁,x₂,…,x_n)和误差进度ε>0,总存在一个三层前向神经网络,其隐层神经元的作用函数为σ(x),输入层、输出层为线性神经元.

网络的总输入-输出关系:Y= f₁(x₁,x₂,…,x_n)可以以规定的精度逼近给定的函数f(x₁,x₂,…,x_n).