1987年在圣地雅哥召开了首届国际神经网络大会，国际神经网络联合会(INNS)宣告成立 ．嗣后，INSS创办的刊物Journal Neural Networks问世，还诞生十几种国际著名的神经 网络学术刊物．神经网络理论经过半个多世纪的发展，人们看到它已经硕果累累．于是，美 国国防部高级预研计划局(DARPA)组织了一批专家、教授进行调研，走访了三千多位有关 研究者和著名学者，于1988年2月完成了一份长达三百多页的神经网络研究计划论证报告． 并从11月开始执行一项发展神经网络及其应用的八年计划，投资4亿美元．美国国家科学基 金会(NSF)于1987年拨款50万美元，1989年NSF、ONR & AFOSR投资达1千万美元．DARP A的看法是，神经网络是解决机器智能的唯一希望．世界上一些著名大学纷纷成立神经网络 研究所、制订有关教育计划．许多国家相应成立了神经网络学会，定期召开国际性、区域性 会议，如：1990年欧洲召开首届国际会议Parallel Problem Solving from Nature (PPSN), 1994年IEEE神经网络学会主持召开了第一届进化计算国际会议．
我国学术界大约在80年代中期关注神经网络领域，有一些科学家起到先导的作用，如中科 院生物物理所科学家汪云九，姚国正和齐翔林等［42］；北京大学非线性研究中心在 1988年9月发起举办了Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach．INNS秘书长Szu博士在会议期间作了神经网络一 系列讲座，后来这些内容出版了［43］．从这时起，我国有些数学家和计算机科学家 开始对这一领域产生兴趣，开展了一定的研究工作．
1989年召开了全国一个非正式的神经网络会议，1990年我国的八个学会联合在北京召开了神 经网络首届学术大会，国内新闻媒体纷纷报道这一重大盛会，这是我国神经网络发展以及走 向世界的良好开端．1991年在南京召开了中国神经网络学术大会(第二届)，会上成立了中国 神经网络学会．我国“863”高技术研究计划和“攀登”计划于1990年批准了人工神经网络 的3项课题，自然科学基金和国防科技预研基地也都把神经网络的研究列入选题指南．许多 全国性学术年会和一些学术刊物把神经网络理论及应用方面的论文列为重点．这些毫无疑问 ，为神经网络在我国发展创造了良好的条件，促使我们加快步伐缩短我国在这个领域的差距 ．INNS开始重视我国，把1992年国际神经网络学会、IEEE神经网络委员主办的国际性学术 会议IJCNN定在北京召开．
1988年Chua和Yang提出了细胞神经网络(CNN)模型［44，45］，它是一个大规模 非线性计算机仿真系统，具有细胞自动机的动力学特征．它的出现对神经网络理论的发展产 生了很大的影响．另外，Kosko建立了双向联想存储模型(BAM)［46～48］，它具 有非监督学习能力，是一种实时学习和回忆模式，并建立了它的全局稳定性的动力学系统．
Mead是VLSI系统的创建者，他和Conway、Mahowald等人合作，研制一种动物神经系统的电 子电路模拟，即称硅神经系统．如，在一方阵中含几千个光敏单元的VLSI芯片，它是以人的 视网膜中锥体细胞的方式来连接一块VLSI芯片．对此，他在1989年出版了专著Analog VLSI and Neural System Mead．Muhlenbein［49，50］提出了一种进化系统理论的形式模 型，是一种遗传神经网络模型．其基本思想是来源于Waddington在1974年发表的论文，对基 因型与表型关系进行了描述．Aleksander［51］提出了概率逻辑基于Markov chain 理论，对其收敛性、结构以及记忆容量等研究，为概率逻辑神经元网络的发展提供了新的方 法和途径．
上述例证说明，这次高潮吸引了许多科学家来研究神经网络理论，优秀论著，重大成果如雨 后春笋，新生长的应用领域受到工程技术人员的极大赞赏．
(5) 新发展阶段． 从神经网络理论的发展史看，它的高潮阶段是很容易度 过的．IJCNN91大会主席Rumelhart意识到这一点，在他的开幕词中有一个观点，神经网络 的发展已到了一个转折的时期，它的范围正在不断扩大，其应用领域几乎包括各个方面．半 个世纪以来，这门学科的理论和技术基础已达到了一定规模，笔者认为，神经网络到了新发 展阶段，需要不断完善和突破，使其技术和应用得到有力的支持．
90年代初，对神经网络的发展产生了很大的影响是诺贝尔奖获得者Edelman提出了Darwini sm模型，其主要3种形式是DarwinismⅠ、Ⅱ、Ⅲ．他建立了一种神经网络系统理论，例如 ，DarwinismⅢ的结构，其组成包括输入阵列、Darwin网络和Nallance网络，并且这两个网 络是并行的，而它们又包含了不同功能的一些子网络．他采用了Hebb权值修正规则，当一定 的运动刺激模式作用后，系统通过进化，学会扫描和跟踪目标．该系统中关于群(group)的 作用，他早在1984年就阐述了，即神经模式的选择阶段是群限制、群选择和群竞争．
1994年廖晓昕［52］对细胞神经网络建立了新的数学理论与基础，得出了一系列结 果．如，耗散性、平衡位置的数目及表示，平衡态的全局稳定性、区域稳定性、周期解的存 在性和吸引性等．使这个领域取得了新的进展，他认为该理论有巨大的潜在应用前景，它还 有待以此为基础来发展系统．
神经网络的光学方法，能充分发挥光学强大的互连能力和并行处理能力，提高神经网络实 现的规模，从而加强网络的自适应功能和学习功能，因此近来引起不少学者重视．Wunsch 在90 OSA年会提出一种Annual Meeting，用光电执行ART，它的主要计算强度由光学硬件完 成，光电ART单元的基本构件为双透镜组光学相关器，并采用光空间调节器完成二值纯相 位滤波和输入图象的二维Fourier变换，它的学习过程有自适应滤波和推理功能，可以把光 学有机组合在其中，具有快速和稳定的学习的特点，网络所需神经元数目大量减少，而且人 为调节参数也减少很多．1995年Jenkins等人［53］研究了光学神经网络(PNN)，建立 了光学二维并行互连与电子学混合的光学神经网络系统，实现了光学神经元，它是解决光学 实现相减和取阈问题的新动向．值得重视的是，90年代初，McAulay，Jewel等许多学者致力 于电子俘获材料应用于光学神经网络的研究［54，55］，在光存储等方面取得一定成 果，受到人们的关注．最近，阮昊等人采用他们研制的Cas (Eu, Sm)电子浮获材料实现IPA( Interpattern Association)和Hopfield等那些互联权重不变的神经网络模型［56］ ，他们认为，采用这种方式还可实现如感知器等那些通过学习来改变互联权重的网络模型 ．这些，对光学神经网络的发展起到很大的推动作用．
对于不变性模式识别机制的理解，是对理论家的一大挑战，尤其是对于多目标的旋转不变 分类识别问题的研究，具有广泛的应用前景．最近，申金媛、母国光等人［57］提出 一种新方法，即基于联想存储级联WTA模型的旋转不变识别．当识别多个模式时就可联 想出一个模式，针对该问题，他们采用了全单极形式，对互连权重进行二值化截取，并把联 想存储模型与WTA模型级联起来，从而提高了存储容量和容错性，实现了多目标旋转不变分 类识别．他们选择四大类型飞行器作为仿真模拟，其方法可行和有效．
此外，Haken在1991年出版了一本论著Synergetic and Cognition：A Top-Down Approac h to Neural Nets．他把协同学引入神经网络．正如他认为的，这是研究和设计神 经网络的一种新颖方法．在他的理论框架中，强调整体性，认知过程是自发模式形成的，并 断言：模式识别就是模式形成．他提出了一个猜测：感知发动机模式的形成问题可以绕开模 式识别．他仍在摸索着如何才能使这种方法识别情节性景象和处理多意模式．
值得重视的是，吴佑寿等人［58］提出了一种激励函数可调的神 经网络模型，对神经网络理论的发展有重要意义．可以认为，先验知识不充分利用岂不可惜 ，但问题是先验知识有时不一定抓住了实质，存在一定局限性．因此，在设计激励函数可 调网络(TAF)时要谨慎．他们针对一个典型的模式分类难题，即双螺线问题来讨论TAF网 络的设计、激励函数的推导及其网络训练等，其实验结果表明这种网络方法的有效性和正确 性，尤其对一些可用数学描述的问题．另外，对模式识别中的手写汉字识别问题研究，有重 要的理论和应用价值．郝红卫和戴汝为［59］把统计识别方法与多层感知器网络综合 起来，他们提出了一种网络集成法，对4个不同手写汉字分类器进行集成．这个方法有一定 的推广性，对其它类似问题提供了一个范例．90年代，国内许多学者对Hopfield神经网络的 进一步研究很感兴趣，使它得到了一定的完善和发展．
90年代以来，人们较多地关注非线性系统的控制问题，通过神经网络方法来解决这类问题 ，已取得了突出的成果，它是一个重要的研究领域．1990年Narendra和Parthasarathy提出 了一种推广的动态神经网络系统及其连接权的学习算 法［60］，它可表示非线性特性，增强了鲁棒性．他们给出了一种新的辨识与控制方 案，以multilayer网络与recarrent网络统一的模型描述非线性动态系统，并提出了动态BP 参数在线调节方法．他们研究的是，假定对象为线性或非线性离散时间系统．有些学者对它 的学习算法计算量大和收敛速度慢进行了一定改进．值得重视的是，连续时间非线性动态系 统，如，仿射非线性系统可直接应用于广泛而真实的物理系统．值得一提的是，戴先中等人 ［61］提出了连续非线性系统的神经网络α阶逆系统控制方法，他们一方 面用静态神经网络逼近静态非线性函数；另一方面用积分器或微分器来体现系统的动态特性 ，并结合线性系统理论和方法，从而构成一种满足系统要求的复合控制器．可以说，这种控 制策略具有一定代表性和启发性．
Miller［62］等人基于Albus在1975年提出的小脑模型关节控制 器(CMAC)，研究了非线性动态系统控制问题，它具有局部逼近和修改权极小的 特点，可用于实时控制方面，但存在一个缺陷，即采用了间断超平面对非线性超曲的逼近， 有时出现精度不够，也有可能得不到相应的导数估计．这种方法一开始就被Miller［ 63］成功地应用于商用机器人的实时动态轨迹的跟踪控制中．Touretzky也成功应用于非 线性时间序列分析上．1992年Lane［64］对它作了改进，他采用高阶B-样条，使逼 近超平面的光滑性更好，虽然计算量有所增加，但在容忍范围之内，逼近精度有一定提高． 1993年Bulsari［65］提出以乘积Sigmoidal函数作为激发函数，给出了非线性系统用 神经网络逼近的构造性描述，得到了节点数目的一个上界估计．最近，朱文革［66］ 引入小波变换，并对其性质进行了分析．在Lp范数下，他也构造性证明了单个隐层前馈神 经网络逼近定理．1997年罗忠等人［67］对CMAC的收敛性以及hash编码对它的影响作 了矩阵分析和证明．另外，有些学者通过神经网络的训练来实现非线性系统的 状态反馈控制，其学习算法为非线性系统的学习控制提供了有效的方法．但它需要全状态反 馈信息，给实际应用带来了一定的困难，同时它的学习收敛速度还有待提高．
Davis在1991年编辑出版的Handbook of Genetic Algorithms，这本工具书对该领域的设 计和应用人员有很大的帮助．尤其是进化计算的概念在1992年形成，促进了这一理论的发展 ．1993年诞生了国际性杂志Evolutionary Computation．随后，IEEE神经网络委员会定期召 开进化计算国际会议．近几年它成为一个热点研究领域．1993年Yip和Pao提出了一种带区域 指引的进化模拟退火算法，他们将进化策略引入区域指引，它经过选优过程，最终达到求解 问题的目的．近几年有些学者对它进行了改进，如，蔚承建等人［68］在随机搜索过 程中引入区域指引，并采用Cauchy变异替换Gaussian变异产生后代，使算法的可收敛性及其 速度有所提高．他们将这种方法成功的应用于转动圆桌平衡摆盘问题的求解．值得一提的是 ，1997年张讲社等人［69］将Markov链表示遗传算法，并引进模拟退火的方法．还有 类似的混合法及其改进，如提高收敛速度，避免过早收敛，同时避免陷进局部极值的情况．
必须指出，神经网络的计算复杂性分析具有重要意义．有些学者产生了极大兴趣，如19 91年Hertz［70］探讨了神经计算理论；1992年Anthony［71］出版了一本论著 Computational Learing Theory； 1995年阎平凡［72］讨论了神经网络的容量、推 广能力、学习性及其计算复杂性．可以说，这方面的理论成果越多，对应用的作用就越大．
从上述各个阶段发展轨迹来看，神经网络理论有更强的数学性质和生物学特征，尤其是神经 科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而 也是它发展的最大机会．90年代神经网络理论日益变得更加外向，注视着自身与科学技术之 间的相互作用，不断产生具有重要意义的概念和方法，并形成良好的工具．
3 发展趋向及前沿问题
展望21世纪初，在近十年神经网络理论研究趋向的背景下，笔者认为神经网络理论的主要前 沿领域包括：
(1) 对智能和机器关系问题的认识将进一步增长．
研究人类智力一直是科学发展中最有意义，也是空前困难的挑战性问题．人脑是我们所知道 的唯一智能系统，它具有感知识别、学习、联想、记忆、推理等智能，80年代中期出现了“ 联结主义”的革命，或“并行分布处理(PDP)”，它又被普遍地称为神经网络，具有自学习 、自适应和自组织的特点，也是神经网络迫切需要增强的主要功能．进一步研究调节多层感 知器的算法，使建立的模型和学习算法成为适应性神经网络的有力工具，构建多层感知器与 自组织特征图级联想的复合网络，是增强网络解决实际问题能力的一个有效途径．重视联结 的可编程性问题和通用性问题的研究，从而促进智能科学的发展．我们通过不断探索人类智 能的本质以及联结机制，并用人工系统复现或部分复现，制造各种智能机器，这样，可使人 类有更多的时间和机会从事更为复杂、更富创造性的工作．
智能的产生和变化经过了漫长的进化过程，我们对智能处理的新方法的灵感主要来自神经科 学，例如学习、记忆实质上是突触的功能，而海兔的小系统神经元是研究学习记忆突触机 制的天然模型，在细胞和分子水平上研究，为我们提供真正的实证．又如，人类大脑的前额 叶高度发育，它几乎占了30%大脑的表面积 ，在其附近形成了人类才出现的语言运动区，它与智能发育可能密切相关，使神经系统的发 育同环境的关系更加密切，脑的可塑性很大，能主动适应环境还能主动改造环境，人类向制 造智能工具方向迈进正是这种主动性的反映．事实上，脑的可塑期越长，经验对脑的影响就 越大，而人类的认知过程很大程度上不仅受经验主义的影响，而且还接受理性主义的模型和 解释．因此，对于智能和机器的关系，应该从进化的角度，把智能活动看成动态发展的过程，并合理的发挥经验的作用．同时还应该从环境与社会约束以及历史文化约束的角度加深对 它的理解与分析．
神经网络是由大量处理单元组成的非线性、自适应、自组织系统，它是现代神经科学研究成 果的基础上提出的，试图模拟神经网络加工、记忆信息的方式，设计一种新的机器，使之具 有人脑风格的信息处理能力．智能理论所面对的课题来自“环境—问题—目的”，有极大的 诱惑力与压力，它的发展方向就将是，把基于联结主义的神经网络理论、基于符号主义的人 工智能专家系统理论和基于进化论的人工生命这三大研究领域，在共同追求的总目标下，自 发而有机的结合起来．在这里我们只想重复一下我们的信念并推测：在21世纪初，智能的机 器实现问题的研究将有新的进展和突破．
(2) 神经计算和进化计算将有重大的发展．
计算和算法是人类自古以来十分重视的研究领域，本世纪30年代，符号逻辑方面的研究非常 活跃．例如Church、Kleene、Godel、Post、Turing等数学家都给出了可计算性算法的精确 数学定义，对后来的计算和算法的发展影响很大．50年代数学家Markov发展了Post系统．80 年代以后，神经网络理论在计算理论方面取得了引 人注目的成果，形成了神经计算和进化计算新概念，激起了许多理论家的强烈兴趣，如前所 述，大规模平行计算是对基于Turing机的离散符号理论的根本性的冲击，但90年代人们更多 的是批评的接受它，并将两者结合起来，近年来，神经计算和进化计算领域很活跃，有新的 发展动向，在从系统层次向细胞层次转化里，正在建立数学理论基础．随着人们不断探索新 的计算和算法，将推动计算理论向计算智能化方向发展，在21世纪人类将全面进入信息社会 ，对信息的获取、处理和传输问题；对网络路由优化问题；对数据安全和保密问题等等将有 新的要求，这些将成为社会运行的首要任务，因此，神经计算和进化计算与高速信息网络理 论联系将更加密切，并在计算机网络领域中发挥巨大的作用，例如，大范围计算机网络的自 组织功能实现就要进行进化计算．
现有的一些神经网络模型并没有攻克组合爆炸问题，只是把计算量转交给了学习算法来完成 ，具体说，增加处理机数目一般不能明显增加近似求解的规模．可以说，有些神经网络模型 的计算(学习)时间与神经元有多少事实上关系不太大，却与学习的样本有明显的依赖关系． 值得注意的是，尽管采用大规模并行处理机是神经网络计算的重要特征，但我们还应寻找其 它有效方法，建立具有计算复杂性、网络容错性和坚韧性的计算理论．
人类的思维方式正在转变：从线性思维转到非线性思维．神经元、神经网络都有非线性、非 局域性、非定常性、非凸性和混沌等特性，我们在计算智能的层次上研究非线性动力系统、 混 沌神经网络以及对神经网络的数理研究．进一步研究自适应性子波、非线性神经场的兴奋 模式、神经集团的宏观力学等．因为，非线性问题的研究是神经网络理论发展的一个最大 动力，也是它面临的最大挑战．此外，神经网络与各种控制方法有机结合具有很大发展前景 ， 建模算法和控制系统的稳定性等研究仍为热点问题，而容忍控制、可塑性研究可能成为新的 热点问题．开展进化并行算法的稳定性分析及误差估计方面的研究将会促进进化计算的发展 ．把学习性并行算法与计算复杂性联系起 来，必须分析这些网络模型的计算复杂性以及正确性，从而确定计算是否经济合理．关注神 经信息处理和脑能量两个方面以及它们的综合分析研究的最新动态，吸收当代脑构象等各种 新技术和新方法．例如，在1994年Science杂志上，生物化学家Adleman发表了 一篇论文：Molecular Computation of Solutions to Combinatorial Problems， 他采用 超并行的DNA求解组合问题，他是DNA计算的创建者之一，随后，他制造的超并行DNA计算机T T-100取得了技术上的突破．这一具有重大价值的理论和方法，是对NP完全问题和数据加密 标准系统等发起了最猛烈的攻击．因此，神经网络在DNA序列分析上的应用会更受人们的关 注．
很明显，离散符号计算、神经计算和进化计算相互促进．从道理上说，也许最终导致这3种 计算统一起来，这算得上是我们回避不了的一个重大难题．预计在21世纪初，关于这个领域 的研究会产生新的概念和方法．尤其是视觉计算方面会得到充分地发展．我们应当抓住这个 机会，力求取得重大意义的理论和应用成果．
(3) 神经网络结构和神经元芯片的作用将不断扩大．
神经网络结构的研究是神经网络的实现以及成功地实现应用的前提，又是优越的物理前提． 它体现了算法和结构的统一，是硬件和软件的混合体，这种硬软混合结构模型可以为意识的 作用和基本机制提供解释．未来的研究主要是针对信息处理功能体，将系统、结构、电路、 器件和材料等方面的知识有机结合起来，建构有关的新概念和新技术，如，结晶功能体、最 子效应功能体、高分子功能体等．在硬件实现上，研究材料的结构和组织，使它具有自然地 进行信息处理的能力，如，神经元系统、自组织系统等．目前有些学者正在研究从硬件技术 到应用之间的映射理论，将会出现一些新的方法．
神经计算机的主要特征是具有并行分布式处理、学习功能，这是一种提高计算性能的有效途 径，使计算机的功能向智能化发展，与人的大脑的功能相似，并具有专家的特点，比普通人 的反应更敏捷，思考更周密．光学神经计算机具有神经元之间的连接不仅数量巨大而且结合 强度可以动态控制，因为光波的传播无交叉失真，传播容量大，并可能实现超高速运算，这 是一个重要 的发展领域，其基础科学涉及到激光物理学、非线性光学、光紊乱现象分析等，这些与神 经网络之间在数学构造上存在着类似性．近年来，人们采用交叉光互连技术，保证了它们之 间 没有串扰，它有着广阔的发展前景．在技术上主要有超高速、大规模的光连接问题和学习 的 收敛以及稳定性问题，可望使之得到突破性进展；另一种是采用LSI技术制作硅神经芯片， 以及二维VLSI技术用于处理具有局部和规则连接问题．在未来一、二十年里半导体神经网络 芯片仍将是智能计算机 硬件的主要载体，而大量的神经元器件，如何实现互不干扰的高密度、高交叉互连，这个问 题可望尽早得到解决．此外，生物器件的研究正处于探索之中，研究这种模型的理论根据是 ，当硅集成块和元件间的距离如果接近0.01微米时，电子从邻近元件逸入的概率将很有限， 便产生“隧道效应”的现象，它是高集成电路块工作不可靠的原因之一．而生物芯片由于元 件是分子大小的，其包装密度可成数量级增加，它的信号传播方式是孤电子，将不会有损耗 ，并且几乎不产生热．因此，它有更诱人的前景．随着大量神经计算机和神经元芯片应用于 高科技领域，给神经网络理论和方法赋予新的内容，同时也会提出一些新的理论课题 ，这 是神经网络迅速发展的一个动力．
4 结束语
近年来，我国“863”计划、攻关计划、“攀登”计划和国家自然科学基金等，都对神经网 络的研究给予了资助，吸引了大量的优秀青年人才从事神经网络领域的研究工作，促进我国 在这个领域取得世界上的领先地位．
由于神经网络学科的范围很广泛，本文只能在那些有发展前途的领域中，在联结主义提供的 各种机会中，列举出少数几个方向，并作出推测．应该说明的是，除了上述列举的以外，还 有形形色色的、规模可观的研究工作正在进行．总之，在21世纪科学技术发展征程中，神经 网络理论的发展将与日俱增．
注释：国家自然科学基金资助
作者简介：刘永红，男，35岁，硕士生，讲师．研究领域为神经网络理论、智能控制等．
作者单位：武汉工业大学自动化系 武汉 430070
参考文献
1 McCulloch W S, Pitts W. A Logical Calculus of the Ideas Immanent in Nervous
Activity, Bulletin of Mathematical Biophysics, 1943, (5):115～133
2 N.维纳著，郝季仁译，控制论，科学出版，1985
3 Von Neumann J. The General and Logical Theory of Automata, Cerebral Mechanisms in
Behavior; The Hixon Sympsium, 1951
4 Turing A M. On Computable Numbers, with an Application to the Entscheidungs
problem, Proc. London Math. Soc., 1936, 2(42):230～265; (43):544～546
5 Turing A M. Systems of Logic Based on Ordinals, Proc. London Math. Soc., 19 39,2
(45):161～228
6 Post E L. Finite Combinatory Process-formulation I, J.Symbolic Logic, 1936,
(1):103～105
7 Hebb D O. The Organization of Behavior, New York:Wiley, 1949
8 Eccles J C. Cholinergic and Inhibitory Synapses in A Pathway from Motor-axon
Collaterals to Motorneurones, J.Physiol., 1954,(126):524
9 Rosenblatt, F., The Perceptron: A Probabilistic Model for Information storage
and Organization in The Brain. Psychological Review, 1958, (65):386～408
10 Widrow B, M E Hoff. Adaptive Switching Circuits. 1960 IRE WESCON con vertion
record: part 4. computers: Man-machine Systems, Los Angeles:96～104
11 Rosenblatt F. Principles of Neurody Namics: Perceptrons and The Theory of Brain
Mechanisms, Spartan, New York, 1962
12 Grossberg S. On the Serial Learning of Lists, Math. Biosci., 1969,(4):201～253
13 Grossberg S. Some Networks that Can Lean, Remenber, and Reproduce any Number of
Compialted Space-time Patterns, Ⅱ, stud. Appl. Math. 1970,(49):135～166
14 Willshaw D J, Buneman O P. Longuest-higgins, H.C Nature 1969,(222):960
15 Nilsson N J. Learning Machines: Foundations of Trainuble Pattern Classifying
Systems, McGraw-hill, New York,1965
16 Holland J H. Genetic Algorithms and the Optimal Allocations of Trials, SIAM
Journal of Computing, 1973,(2):88～105
17 Holland J H. Adaptation in Natural and Artificial Systems, Ann Arbor: The
University of Michigan Press, 1975
18 Stein R B, Leung K V, Mangeron D, Oguztoreli M N. Improved Neuronal Model s for
Studying Neural Networks, Kybernetik, 1974,(15):1～9
19 Heiden U. an der, Existence of Periodic Solutions of a Nerve Equation, Biol .
Cybern., 1976,(21):37～39
20 Grossberg S. Aaptive Pattern Classification and Universal Recoding: Part I :
Parallel Development and Coding of Neural Feature Detectors, Biological Cybern
etics, 1976,(23):121～134
21 Werbos P. Beyond Regression: New Tools for Prediction and Analysis in the
Behavioral Sciences. Ph D Dissertation, Harvard University,1974
22 Fukushima K. Neocognitron: A Self-organizing Multilayered Neural Network.
Biological Cybernetics, 1980,(36):193～202
23 Amari. S-I., Characteristics of Random Nets of Analog Neuron-like Elements ,
IEEE Transactions on Systems, Man and Cybernetics, 1972a, SMC-2:643～657
24 Kohonen T. Automatic formation of Topological Maps in Self-orgnizing Systems:
Proceedings of the 2nd Scandinavian Conf. on Image Analysis, 1981:214～220
25 Kohonen T. Self-organizing formation of Topologically Correct Feature Maps ,
Biol. Cybern. 1982,(43):59～69
26 Kohonen T. Self-organization and Associative Memory. Berlin: Springer-Verlag,
1984
27 Hopfield J J. Neural Networks and Physical Systems with Emergent Collective
Computational Abilities, Proc. Natl. Acad. Sci., USA, 1982,(79):2254～2558
28 Marr D. Vision, San Francisco: W.H.Freeman, 1982
29 Hopfield J J. Neurons with Graded Respone have Collective Computational Pr
operties Like those of Twostate Neurons, Proc. Natl, Acad. Sci., 1984,(81):3088
～3092
30 Hopfield J J, Tank D W. Neural Computation of Decisions in Optimization Prob
lems, Biol. Cybern. 1985,(52):141～152
31 Hopfield J J, Tank D W. Computing with Neural Circuits: A Model, Scien ce, 1986,
(233):625～633
32 Lee Y C. Physica 22D, 1986,86.,276
33 Lapedes A. Physica 22D,1986,247
34 Kirkpatrick S, Gellat Jr C D, Veechi M P. Optimization by Simulated An nealing.
Science, 1983,220(4598):671～681
35 Hinton G E, Sejuowski T J, Ackley D H. Boltzmann Machiues: Cotraint Satisfaction
Networks that Learn, Carnegie-Mellon University, Tech, Report CMU-CS -84-119,
1984
36 Ackley D, Hinton G, Sejnowski T. A Learning Algorithm for Boltzmann machines.
Cognitive Science, 1985,(9):147～169
37 Sejnowski T. Higher Order Boltzmann Machines. In: Denker J ed. AIP Conf
Prpoceeding 151:Neural Networks for Comptuing, New Youk: American Institute of
Phys ics, 1986,398～403
38 Poggio T, et al. An analog model of Computation for Ill-posed Problems of Early
Vision. Artif Intell Lab Memo, 783,MIT, 1984
39 Poggio T, et al. Computational Vision and Regularization Theory. Neture (Lond),
1985,(3):314～319
40 Hecht-Nielsen, R., The Theory of Backpropagation Neural Network, In Review, 1988
41 钱学森 (主编)， 关于思维科学，上海人民出版社，1986
42 姚国正，汪云九，神经网络的集合运算，信息与控制，1989，18(2)：31 ～40
43 斯华龄［美］，电脑人脑化：神经网络—第六代计算机(普及本)，北京大学出版社，19 92
44 Chua L O, Yang L. Cellular Neural Networks: Theory. IEEE Transactions on
Circuits and Systems, 1988,(35):1257～1272
45 Chua L O, Yang L. Cellular Neural Networks: Application, IEEE Transactions on
Circuits and Systems 1988, (35):1273～1290
46 Kosko B. Adaptive Bidirectional Associative Memories, Appl. Opt., 1987,26
(23):4947～4860
47 Kosko B. Constructing an Associative Memory, Byte, 1987,12(10):1 37～144
48 Kosko B. Bidirectional Associative Memories, IEEE Trans. on Man, Systems and
Cybernitics, 1988,(18):49～59
49 Muhlenbein H. Parallel Genetic Algorithms, Population Genetics and Combina
torial Optimization, in J.D.Schaffer, Ed. Proceedings of the Third International
Conference on Genetic Algorithms (ICGA), 1989,416～421
50 Muhlenbein H. Limitations of Multi-layer Perceptron Networks-steps Towards
Genetic Neural Networks, Parallel Computing, 1990,(14):249～260
51 Aleksander I. The Logic of Connectionist Systems, Neural Computing Archite
ctures, MIT Press, 1989
52 廖晓昕. 细胞神经网络的数学理论(Ⅰ)、(Ⅱ),中国科学(A辑)，1994，24 (9)：902～910；
24(10)：1037～1046
53 Jenkins B K, A R Tanguay. Jr. Optical Architectures for Neural Network
Implementation, Handbook of Neural Computing and Neural Networks, MIT Press,
Bosto n, 1995:673～677
54 McAulay A D, Wang J, Ma C. Optical Heteroassociative Memory Using Spatial Light
Rebroadcasters. Appl, Opt., 1990,29(14):2067～2073
55 Jewel J L, Lee Y H, Scherer A, et al. Surface Emitting Microlasers for Photonic
Switching and Interclip Connection. Opt. Eng., 1990,29(3):2 10～214
56 阮昊，陈述春，戴凤妹，千福熹. 利用电子俘获材料实现光学IPA神经网络模型，光学学报,
1997，17(6)：766～771
57 申金媛，常胜江，张延火斤，母国光. 基于联想存储级 联WTA模型的旋转不变识别，光学学
报，1997，17(10)：1352～1356
58 吴佑寿，赵明生，丁晓青. 一种激励函数可调的新人工神经网络及应用，中国科学(E辑)，
1997，27(1)：55～60
59 郝红卫，戴汝为. 集成手写汉字识别方法与系统，中国科学(E辑)， 1997，27(16)：556～
559
60 Narendra K, Parthasarathy K. Identification and Control of Dynamical Systems
Using Neural Networks. IEEE Trans on Neural Networks, Mar.1990,1(1):4～27
61 戴先中，刘军，冯纯伯. 连续非线性系统的神经网络α阶逆系统控制方法，自动化学报 ，
1998，24(4)：463～468
62 Miller W T. Real-time Application of Neural Networks for Sensor-based Control
of Robots. with Vision, IEEE, Trans. Syst., Man, Cybern., 1989,(19):825～831
63 Miller T W, et al. (Eds), Neural Networks for Control, Cambridge, MA, MIT Press,
1990
64 Lane S H, et al. Theory and Development of Higher Order CMAC Neural Ne tworks,
in Special Issue on Neural Networks in Control Systems, (Antsaklis, P.J. ,Ed.),
IEEE Control Systems Magazine 1992,12(2):23～30
65 Bnlsari A. Some Analytical Solutions to the General Approximation Problem for
Feedforward Neural Networks. Neural Networks 1993,(6):991～996
66 朱文革. 广义小波变换及其在人工神经网络中的应用，应用数学学报，1997，20 (2)
67 罗忠，谢永斌，朱重光. CMAC学习过程收敛性研究，自动化学报，1997，23(4)：455～461
68 蔚承建，姚更生更生，何振 亚. 改进的进化计算及其应用，自动化学报，1998，24(2)：
262～265
69 张讲社，徐宗本，梁怡. 整体退火遗传算法及其收敛充要条件，中国科学(E辑)，1997 ，
27(2)：154～164
70 Hertz J, et al. Introduction to Theory of Neural Compution. Sant Fee Complexity
Science Series, 1991:156
71 Anthony M, Biggs N. Computational Learning Theory. Combridge University Press,
1992
72 阎平凡. 人工神经网络的容量、学习与计算复杂性，电子学报，1995，23 (4)：63～67
73 钟义信，杨义先. 中国神经网络首届学术大会论文集，北京，1990
74 焦李成. 神经网络计算，西安电子科技大学出版社，1993
75 史忠植. 神经计算，电子工业出版社，1993
