神经网络的分类

神经网络可以分为三种主要类型：前馈神经网络、反馈神经网络 和 图神经网络。

一、前馈神经⽹络

前馈神经⽹络（feedforward neural network）是⼀种简单的神经⽹络，也被称为多层感知机（multi-layer perceptron，简称MLP），其中不同的神经元属于不同的层，由输⼊层 - 隐藏层 - 输出层构成，信号从输⼊层往输出层单向传递，中间⽆反馈，其⽬的是为了拟合某个函数，由⼀个有向⽆环图表⽰，如下：

 

前馈神经⽹络中包含激活函数（sigmoid函数、tanh函数等）、损失函数（均⽅差损失函数、交叉熵损失函数等）、优化算法（BP算法）等。常⽤的模型结构有：卷积神经⽹络、全连接神经⽹络、BP神经⽹络、RBF神经⽹络、感知机等。下面介绍下经典的卷积神经网络：

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积运算且具有深度结构的前馈神经网络（Feedforward Neural Networks）。

相比早期的BP神经网络，卷积神经网络最重要的特性在于 “局部感知” 与 “参数共享”。

整体架构：输入层 —— 卷积层 —— 池化层 —— 全连接层 —— 输出层

 

二、反馈神经⽹络

反馈神经⽹络（feedback neural network）的输出不仅与当前输⼊以及⽹络权重有关，还和⽹络之前的输⼊有关。它是⼀个有向循环图或是⽆向图，具有很强的联想记忆能⼒和优化计算能⼒。常⽤的模型结构有：RNN、Hopfield⽹络、玻尔兹曼机、LSTM等。

 

三、 图神经⽹络

图（graph）是⼀种在拓扑空间内按图结构组织来关系推理的函数集合，包括社交⽹络、知识图谱、分⼦图神经⽹络等。

 

图神经网络通常有以下几种网络模型：图卷积网络、图自编码器、图生成网络、图循环网络、图注意力网络。

图神经网络就是将图数据和神经网络进行结合，在图数据上面进行端对端的计算。图神经网络直接在图上进行计算，整个计算的过程，沿着图的结构进行，这样处理的好处是能够很好的保留图的结构信息。