2018-02-17 神经网络基础(二)

计算图和计算图的导数计算

  • 前向传播
    计算出神经网络的输出
  • 反向传播
    计算梯度或导数

logistic回归中的梯度下降 (单个样本实例)

思路:求dw,用链式法则求导,具体实例如下:

2018-02-17 神经网络基础(二)_第1张图片
屏幕快照 2018-02-17 下午10.11.17.png

m个样本的梯度下降

思路:算先求和再求导可以用先求导再求和
用python实现两个循环,一个循环遍历所有样本,一个循环遍历所有特征。但缺点:for显式遍历,慢。 如下:


2018-02-17 神经网络基础(二)_第2张图片
屏幕快照 2018-02-17 下午10.11.45.png

向量化

避免显式使用for,而是numpy,废话不多说,直接上代码

2018-02-17 神经网络基础(二)_第3张图片
屏幕快照 2018-02-17 下午10.12.30.png

你可能感兴趣的:(2018-02-17 神经网络基础(二))