李沐pytorch学习-多层感知机及其实现

一、多层感知机的定义

多层感知机就是全连接层神经网络，如图1所示，其中隐含层可以有多层

 图1. 多层感知机结构（隐含层与输出层之间为全连接，图中少了几根连接线）

二、运行原理

2.1 数据输入

Input层输入向量，为每个输入层节点的数值，即，如图2所示。

 图2. 多层感知机数据的输入（图中以输入层3个神经元，一个4神经元的隐含层，两个输出神经元为例，可包含多个隐含层，每层神经元个数不固定）

2.2 从输入层前向传播到隐含层

先看隐含层单个神经元的数据传输情况，如图3所示，每根连线都有一个权重（weight，），隐含层每个神经元都有一个偏置（bias，），sigmoid为激活函数，此时有

 图3. 单个神经元数据传输情况

同理有

将隐含层数值拼成列向量有：

隐含层传播到下一隐含层，隐含层传播到输出层同理。