斯坦福机器学习 Lecture12 (反向传播算法详细推导过程,如何提高神经网络性能(主要是激活函数的选择,还有输入数据归一化,权重矩阵初始化方法, 小批次梯度下降法,动量算法 ))
反向传播算法详细推导过程如图,是反向传播算法中的一些基本公式。我们的目的就是更新权重矩阵利用部分公式,如下:计算之后,lossfunction针对w3矩阵的导数如下:如何提高神经网络性能通常使用简单的神经网络并不会得到好结果,我们需要提升它1.选用合适的激活函数(尝试不同的激活函数)如图,是sigmoid和ReLU激活函数如图tanh激活函数sigmoid优点:用于分类(值域在(0,1))缺点:位