学习笔记：MLP多层感知机

多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构。每一层都全连接到下一层，某一层上的每个人工神经元的输出成为下一层若干人工神经元的输入。MLP至少有三层人工神经元，如下图所示。

 

输入层(input layer)由简单的输入人工神经元构成。每个输入神经元至少连接一个隐藏层(hidden layer)的人工神经元。隐藏层表示潜在的变量，它输入和输出都不会出现在训练集中，多层感知机层与层之间是全连接的。假设输入层用向量X表示，则隐藏层的输出就是 f (W1X+b1)，W1是权重（也叫连接系数），b1是偏置，函数f 可以是常用的sigmoid函数或者tanh函数：

使用激活函数的原因:

(1)不使用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。

(2)使用激活函数，能够给神经元引入非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以利用到更多的非线性模型中。

 sigmond函数公式如下所示：

 tanh激活函数：

Relu激活函数：

Dead ReLU Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生: (1) 非常不幸的参数初始化，这种情况比较少见 (2) learning rate太高导致在训练过程中参数更新太大，不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法，以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法。

 Leaky ReLU函数如下所示：

 

 (14条消息) 多层感知机MLP的理解及代码实现_初学者chris的博客-CSDN博客_mlp神经网络代码https://blog.csdn.net/qq_42282231/article/details/123020578?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165631569116782388034364%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=165631569116782388034364&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-2-123020578-null-null.142^v24^huaweicloudv2,157^v15^new_3&utm_term=MLP&spm=1018.2226.3001.4187