新兴产业概念扫盲3-AI人工智能-2

2  人工神经网络 

2.1 基本概念

        连接主义学派把智能建立在神经生理学和认知科学的基础上，强调智能活动是将大量简单的单元通过复杂方式相互连接后并行运行的结果。基于以上的思路，连接主义学派通过人工构建神经网络的方式来模拟人类智能。它以工程技术手段模拟人脑神经系统的结构和功能，通过大量的非线性并行处理器模拟人脑中众多的神经元，用处理器复杂的连接关系模拟人脑中众多神经元之间的突触行为。

       人类所有与意识及智能相关的活动，都是通过特定区域神经细胞间的相互激活与协同工作而实现的。表征处理的物质基础是神经元，大量神经元群体的同步活动是实现表征和加工的生理学机制。单个神经元只能表征极为简单的信息，但当它们通过神经电活动有节律的同步震荡整合在一起时，复杂的功能就诞生了。从信息科学的角度看，整个加工过程可以理解为高度抽象化的加工模型，通过多次特征提取，提取出的特征从简单到复杂，甚至“概念”这种十分抽象的特征也可以被提取出来。从物质基础的角度看，人类智能是建立在有机物基础上的碳基智能，而人工智能是建立在无机物基础上的硅基智能。碳基智能与硅基智能的本质区别在于架构，正是架构决定了数据的传输与处理是否能够同时进行。碳基大脑的容量恐怕永远也无法和硅基硬盘相比，但是其对数据的使用效率同样是硅基硬盘难以企及的。

2.2   算法发展

         神经网络发展历史经历高潮低谷。1943年提出“MP 神经元（MP neuron）”，第一次高潮应该是1957年提出感知器，其要点如下：人工神经网络的神经元用传递函数对输入的线性加权进行非线性处理以产生输出；感知器是一种二分类的监督学习算法，通过自适应调整权重解决线性分类问题；感知器的神经元之间通过权重传递信息，权重的变化根据误差来进行调节；感知器不能解决以异或为代表的线性不可分问题。后面60年代底进入低谷。

      通过多层感知器（multilayer perceptron）可以完美解决线性不可分问题。多层感知器包含一个或多个在输入节点和输出节点之间的隐藏层（hidden layer），除了输入节点外，每个节点都是使用非线性激活函数的神经元。作为一种前馈人工神经网络（feedforward neural network），网络中每一层神经元的输出都指向输出方向，也就是向前馈送到下一层，直到获得整个网络的输出为止。可以通过反向传播算法来训练，通过求解误差函数关于每个权重系数的偏导数，以此使误差最小化来训练整个网络。反向传播算法要根据误差函数的梯度来调整权重系数，需要应用求导的链式法则；单个隐藏层就能使多层感知器以任意精度逼近任意复杂度的连续函数。反向传播算法是在 1986 年由乔弗雷·辛顿提出的。

        径向基函数神经网络采用局部逼近方式，每个神经元只对特定的输入信号产生作用；径向基网络的隐藏神经元使用径向基函数作为传递函数，常用的径向基函数是高斯函数；径向基函数可以将低维空间上的线性不可分问题转化为高维空间上的线性可分问题；使用高斯函数的径向基网络可以用 K 均值聚类算法结合递归最小二乘法进行训练。在实际应用中，对径向基网络的训练包括两个步骤。第一步的任务是初始化中心向量 wi​ 的位置，中心向量的位置既可以随机分配，也可以通过 K 均值聚类这一无监督学习的方法完成。这个步骤对应的是隐藏层的训练。第二步的任务是用线性模型拟合初始化的隐藏层中的各个中心向量，拟合的损失函数设定为最小均方误差函数，使用递归最小二乘法（Recursive Least Square）使损失函数最小化。这个步骤对应的是对输出层的训练。在训练完成后还可以添加额外的一个步骤，利用反向传播算法对径向基网络的所有参数进行一次微调，在统计意义上保证了整个系统的最优性，以达到更好的训练效果。

      芬兰赫尔辛基大学的泰乌沃·柯霍宁于 1981 年将无监督学习引入神经网络中，对应的结构就是自组织特征映射（Self-Organizing Map）。自组织映射是一类无监督学习的神经网络，模拟了生物神经系统的竞争性学习机制；自组织映射能将任意维度的输入模式转换为一维或二维的离散映射，得到的特征映射是拓扑有序的；在拓扑映射中，输出神经元的空间位置对应了输入数据的模式或特征；自组织映射网络的训练包括竞争过程、合作过程和自适应过程等几个主要步骤，训练算法可以归纳为以下步骤：1）使用主成分法或随机法初始化神经元的权重系数；2）选取训练集中的样本用于激活整个网络；3）根据最小距离准则寻找最佳匹配神经元；4）通过更新方程调整所有神经元的权重系数；5）重复以上步骤直到在从输入模式到神经元的映射关系中观察不到明显变化。事实上，对第一步，初始化方法的性能取决于输入数据集的几何形状。如果数据集在主成分上的投影是线性的，就应该选择主成分初始化。可对于非线性数据集而言，随机初始化反而是最优选择。自组织映射可以看成是一个编码器 - 解码器模型：寻找最佳匹配神经元就是对输入模式进行编码，确定权重系数则是对编码结果进行解码，邻域函数则可以表示对编解码过程造成干扰的噪声的概率密度。自组织映射的这个性质与信息论中用于数据压缩的向量量化方法不谋而合。

          模糊神经网络（fuzzy neural network）将常规的神经网络赋予模糊输入信号和模糊权值，其作用在于利用神经网络结构来实现模糊逻辑推理。1988 年日本松下电气的高木秀幸和小林功提出。构成模糊神经网络的基本单元是模糊化的神经元。处理误差时需要针对模糊数的特性提出新的方法，两种常用是基于水平集的方法和基于遗传算法的方法。除了学习算法之外，逼近性能也是模糊神经网络设计中的核心问题。模糊神经网络是一种混合智能系统，能够同时处理语言信息和数据信息，因而是研究非线性复杂系统的有效工具，也是软计算的核心研究内容之一，在模式识别、系统分析和信号处理等领域都有成功应用的实例。