第一章（第一节）：初识神经网络

目录

第一章（第一节）：初识神经网络

---

---

前言

本章将对神经网络做初步介绍，主要介绍神经网络的一些基本概念，以便为后续章节做准备和打基础

---

一、人工神经网络是什么？

    对于人体结构而言，我们可以将我们的大脑看做是一个超大型的天然神经网络。而人工神经网络（ANN）则是我们模拟人脑创建出的一个与人脑相识的结构。另外,类似于人脑中由数百亿个神经元构成，每个神经元都有可能与其它神经元产生连接，进而形成上万亿数量级的连接。人工神经网络也有类似于神经元的模型，模型如下图所示。

     图中，神经元的树突会会根据接收的信号强度和振幅通过权重与求和后发送信号到轴突。另外在轴突上会有一个激活函数，它可以判断是否触发新的信号，然后传递到其它神经元。
     结合人脑的结构与特点，可以说人工神经网络是一种受自然启发的方法。每一个神经原元与许多神经元相连接，这些神经元又会和其它大量神经元相连接。神经元之间的连通性解释了学习能力，因为每一个连接都可以根据输入和期望目标进行调整与设置。

二、激活函数

1.何为激活函数

    激活函数为一个神经元模型根据输入执行计算并产生输出。其作用为对一个神经元模型加入非线性因素，从而提供人工神经网络的非线性行为。激活函数通常是一个输出在一定范围内的非线性函数，当然有时也可以是线性函数。常见的激活函数有如下几种。

     上述函数的a系数可以根据具体情况来进行设置。

二、人工神经网络的参数

1.权重

     在人工神经网络中，我们可以通过调节神经元之间的连接权重w来增强或减弱接收到的神经信号，进而通过修改权重影响神经元的输出。如果输入来自其他神经元的输出或者外部刺激，则权重可以看成人工神经网络在神经元之间建立的连接。由于权重是神经网络的内部组件且影响输出，因此也可将权重视为神经网络的认知，换句话说改变权重将会改变神经网络对外界刺激的应答。

2.偏置

     偏置的主要主要作用为给激活函数增加一个额外信号。它类似一个输入，其数值为固定数乘以相关性权重。这有助于神经网络表现为一个非线性系统。假设当所有输入都为零，神经元的输出可以不为零， 而且可以由偏置和相关性权重产生一个不同的输出。

---

三、人工神经网络的体系结构

1.层

     在神经网络的结构设计中，为了抽象化处理层次，神经元按层组织。输入层负责接收外界刺激或者其它神经元的输出，输出层负责输出一些行为。在输入层与输出层之间的层称为隐藏层，它们对于外界来说不可见。同一层的各个神经元的输入与激活函数相同，但权重不一定相同。
     通常规定，有多个相互连接的层组成的网络称为多层神经网络。一般而言，追加一个神经层可以让网络表达更加复杂的知识。

2.神经网络的分类

1.单层神经网络

     单层网络体系结构中，所有神经元都处于同一层，形成单个层。神经网络接收输入信号并送入神经元，进而产生输出。神经元可以彼此高度连接，无须递归。如单层感知机、学习机（Adaline）、自组织映射、Hopfield 神经网络等都属于单层网络体系结构。

2.多层神经网络

     多层网络中，神经元分成多个层，每层对应神经元的一个平行布局，每层神经元共享相同的输入数据。径向基函数（radial basis function）和多层感知机都是这种体系结构的典型例子。这种网络对于设计能近似表达真实数据的函数非常有用。此外，因为经过多层处理所以这些网络适用于非线性数据的学习，能够从原始的非线性数据提取或识别知识以便于更好地分类或决策。

3.前馈神经网络

     神经网络中的信号流动可以是单向的，也可以是递归的。对于第一种结构，之为前馈网络。输入信号被送入输入层，经过处理后向前传递到下层。多层感知机和径向基函数也是前馈网络的好例子。

4.反馈神经网络

     当神经网络中有某种内部递归时，这意味着信号会反向传递到已经接收或已经理过信号的神经元或层，这种网络类型称为反馈网络，如下图所示。

     在网络中加入递归，主要作用是为了产生动态行为，特别是当网络处理涉及时间序列或者模式识别的问题时，就需要内部记忆来加强学习过程，增强学习效果。然而，这种网络训练起来特别困难，因为除了准备训练数据之外，训练过程终归是一个递归行为（例如，一个神经元的输出反过来可能又会成为它的输入）需要庞大的算力作为保障。大多数反馈网络都是单层的，比如Hopfield网络，但也有少数是递归的多层网络，比如echo和递归多层感知机网络。