多层感知器模型(MLP)

需要训练的模型参数(parameters)

num_hidden:隐藏层节点数目
activation func:隐藏层/输出层节点的激发函数
weights/biases:连接权重/偏置

* 构造成本函数
训练模型的目的就是降低C值的大小。由于每一层激发函数的输出a_j是权重(weight)和偏置(bias)的函数,因此C也是权重和偏置的函数。训练模型的过程就可以转化成寻找权重和偏置的最优组合,使得C的值降到最低。通常使用随机梯度下降算法(SGD)来寻找该最优组合。
前向传播(forward propagation):将训练数据train_X输入到模型,并在输出层得到相应的输出output,此过程成为前向传播。
后向传播(backward propagation):通过输出结果output和真实的结果y_true计算出成本函数值C,进而计算出C对每一层权重和偏置的偏导和数值,并利用它们调整对应的权重和偏置使得调整后的权重/偏置组合更加接近最优。调整的方式为:



你可能感兴趣的:(多层感知器模型(MLP))