神经网络算法基础概念总结

一、人工神经网络

    人工神经网络是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激的响应机制后，以网络拓扑知识为理论基础模拟人脑的神经系统，对复杂信息的处理机制的一种数学模型。

    神经网络模拟人脑的工作原理，在输入和输出之间增加了许多结点，每一个节点对前一个结点传来的数据，按照自己拥有的权重系数进行加工。

    神经网络是一种运算模型，它是由大量节点之间相互连接构成，每个节点代表一种特定的输出函数（即激活函数），每两个节点间的连接都代表一个通过该连接信号的加权值（即权重参数），神经网络就是通过这种方式来模拟人类记忆的。

二、神经网络的构成

    输入层：外界信息输入，不进行任何 计 算 ，仅向下一层节点传递信息。

    隐藏层：接收上一层节点的输入，进行计算，并将信息传到下一层节点，隐藏层的层数即节点的个数是自己设置的没有特殊要求，其中计算出的各种数值都是隐藏起来的。

    输出层：接收上一层节点的输入，进行计算 ， 并将结果输出。

    输入层和输出层必须有，隐藏层可以没有，即为单层感知器，隐藏层也可以不止一层，有隐藏层的前馈网络即多层感知器。

    神经网络一般是靠经验来设置，刚开始可以设置一个初始的网络结构，然后根据训练的参数和结果来增加或减少网络结构，最终得到一个适合当前项目的网络结构。

三、前馈神经网络和反馈神经网络

    前馈神经网络（FeedForward NN ) :是一种最简单的神经网络，采用单向多层结构，各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。

    反馈神经网络（FeedBack NN ):又称递归网络、回归网络，是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中，神经元可以互连，有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有Hopfield神经网络、Elman神经网络、Boltzmann机等。

前馈神经网络和反馈神经网络的主要区别：

1、前馈神经网络各层神经元之间无连接，神经元只接受上层传来的数据，处理后传入下一层，数据正向流动；反馈神经网络层间神经元有连接，数据可以在同层间流动或反馈至前层。
2、前馈神经网络不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系；反馈神经网络考虑输出与输入之间在时间上的延迟，需要用动态方程来描述系统的模型。
3、前馈神经网络的学习主要采用误差修正法（如BP算法），计算过程一般比较慢，收敛速度也比较慢；反馈神经网络主要采用Hebb学习规则，一般情况下计算的收敛速度很快。
4、相比前馈神经网络，反馈神经网络更适合应用在联想记忆和优化计算等领域。

四、神经网络的类别

    单层神经网络(感知机)：类似于逻辑回归、线性分类，没有激活函数，用于线性客服模式分类的最简单的神经网络模型。由一个具有可调树突权值和偏置的神经元组成。1958年Frank Rosenblatt提出一种具有单层计算单元的神经网络，即为Perception。其本质是一个非线性前馈网络，同层内无互联，不同层间无反馈，由下层向上层传递。其输入、输出均为离散值，神经元对输入加权求和后，由阈值函数决定其输出。

    双层神经网路(多层感知机)：带一个隐层，分线性分类。

    多层神经网络(深度学习)：使用深度学习算法来解神经网络，使用统计学方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。简单理解，深度神经网络就是有多个隐藏层的多层感知器网络，根据实际应用情况不同，其形态和大小也都不一样。

    卷积神经网络(CNN)：其实质是一种多层前馈网络，擅长处理图像特别是大图像的处理和识别。

    循环神经网络(RNN)：前馈神经网络只能单独处理一个的输入，不同的输入之间被认为是相互独立没有联系的，但实际上很多时候输入之间是有序列关系的，需要使用递归神经网络（Recurrent Neural Network, RNN), 也称循环神经网络，其引入了 “记忆"的概念，即描述了当前输出于之前的输入信息的关系，递归的含义是指每个神经元都执行相同的任务，但是输出依赖于输入和"记忆”，常用语NLP、机器翻译、语音识别、图像描述生成、文本相似度等。

    其中单层神经网络、双层神经网络和多层神经网络都属于全连接神经网络，它是指每两个网络层的每两个结点都互相连接。而卷积神经网络(CNN)是属于非全连接神经网络，多用于计算机视觉和自然语言处理。循环神经网络(RNN)多用于处理时序性数据，如股票、天气等，它的同一网络层的各节点之间是相互连接的。