3.1人工神经网络概述

智能

智能（Intelligence） 是个体有目的的行为，合理的思维以及有效的适应环境的综合能力。或者说智能是个体认识客观事物和运用知识解决问题的能力。
通常认为智能包含以下方面的能力：

• 感知与认识客观事物、客观世界和自我的能力：人类生存最基本的能力，感知是智能的基础
• 通过学习取得知识与积累经验的能力：人类能够持续发展的最基本的能力
• 理解知识，运用知识经验去分析、解决问题的能力：智能的高级形式，人类改造世界的基本能力
• 联想、推理、判断和决策的能力：智能的高级形式，人类对未来和未知的预测、应对能力
• 运用语言进行抽象、概括的能力：是形式化描述的基础
• 发现、发明、创造和创新的能力：是第三种能力的高级体现
• 实时、迅速、合理地应付复杂环境的能力：实时反映能力，也是人类生存的基本能力
• 预測、洞察事物发展、变化的能力：根据历史信息和经验，判断事物未来的发展

人工智能

人工智能（Artificial Intelligence） 最初在1956年被引入，它主要研究怎样让计算机模仿人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。简单的讲，人工智能就是研究如何让计算机模仿人脑进行工作。
由于研究的出发点、方法学以及应用领域的不同，有多个代表性的流派：

• 符号主义学派：Newell和Simon在1967年提出的假说，认为人工智能源于数学逻辑，通过数学逻辑来描述智能行为，后来发展了启发式算法->专家系统->知识工程的理论。
• 联接主义学派：代表人物为McCulloch和Pitts，认为人工智能源于仿生学，特别是人脑的研究，并提出了MP模型，后来基于该模型衍生出人工神经网络等
• 行为主义学派：认为人工智能源于控制论，Wiener等提出的控制论和自组织系统等，立足于模拟人在控制过程中的智能行为和作用，如自组织、自寻优、自适应、自学习等

人工神经网络

人工神经网络（Artificial Neural Network，ANN） 是一种旨在模仿人脑结构及其功能的脑式智能信息处理系统。通常以数学和物理的方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型。简单的讲，它是一种数学模型，可以用电子线路来实现，也可以通过计算机程序来模拟，是人工智能的一种研究方法。

ANN的发展历史

萌芽期（？- 1949）：

• 1943年，心理学家McCulloch和数学家Pitts根据神经元提出M-P模型，打下坚实基础
• 1949年，心理学家Hebb提出了人工神经网络的学习规则，称为模型的训练算法的起点

第一高潮期（1950一1968）：

• 单层感知器：研究者通过电子线路或者计算机去实现单层感知器，包括Minsky、Rosenblatt等，被用于各种问题求解，甚至某个阶段内被乐观的认为找到了智能的根源

反思期（1969一1981）：

• 1969年，Minsky和Papert发表论文《Perceptron》，从理论上严格证明了单层感知器无法解决异或问题，从而引申到无法解决线性不可分的问题，由于大部分问题都是线性不可分的，所以单层感知器的能力有限，人们对ANN的研究进入反思期。但也取得到了一些积极成果，如Arbib的竞争模型、Kohonen的自组织映射、Grossberg的自适应共振模型（ART）、Rumellhart等人的并行分布处理模型（PDP）等

第二高潮期（1982一90年代）：

• 1982年，Hopfield提出循环网络，1984年研制了Hopfiled网络，解决了TSP问题
• 1985年，美国加州大学圣地亚哥分校的Hinton、Rumellhart等提出了Boltzmann机
• 1986年，Rumellhart等人提出了用于多层网络训练的BP算法，对ANN起到了重大的推动作用
• 1987年，第一届神经网络国际会议在加州，1600+人参加，1990年12月，国内第一届在北京举行

新时期（90年代至今）：

• 神经网络已经成为涉及神经生理科学、认知科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、生物电子学等多学科交叉、综合的前沿学科
• 神经网络的应用已经渗透到模式识别、图像处理、非线性优化、语音处理、自然语言理解、自动目标识别、机器人、专家系统等领域，并取得了令人瞩目的成果
• 各种会议、论坛、刊物、活动等越来越多
• 除了神经研究本身的突破和进展之外，相关的领域也都取得了长足的发展

ANN与大数据

大数据时代的来临，使得原有的浅层神经网络无法满足需要，深度学习（多隐层、抽象）的概念和应用逐步为人工智能带来了机会。现阶段主要体现在三个方面：文本、图像和语音识别。

ANN的基本特征

结构特点：

• 信息处理的并行性：单个单元处理简单，可以大规模并行处理，有较快的速度
• 信息存储的分布性：信息不是存储在网络中的局部，而是分布在网络所有的连接权中
• 信息处理单元的互联性：处理单元之间互联，呈现出丰富的功能
• 结构的可塑性：连接方式多样，结构可塑

性能特点：

• 高度的非线性：多个单元链接，体现出非线性
• 良好的容错性：分布式存储的结构持点使容错性好
• 计算的非精确性：当输入模糊信息时，通过处理连续的模拟信号及不精确的信息逼近解而非精确解

能力特征：

• 自学习、自组织与自适应性：根据外部环境变化通过训练或感知，能调节参数适应变化（自学习），并可输入刺激调整构建神经网络（自组织）

ANN的基本功能

• 联想记忆
• 优化计算
• 分类识别
• 非线性映射
• 知识处理

ANN的应用领域

信息领域	自动化领域	工程领域	医学领域	经济领域
信号处理	系统辨识	汽车工程	检测数据分析	信贷分析
模式识别	神经控制器	军事工程	生物活性研究	市场预测
数据压缩	智能检测	化学工程	医学专家系统	监督管理
…	…	水利工程	…	…
		…