反向传播算法

[5分钟深度学习] #02 反向传播算法_哔哩哔哩_bilibili

反向传播算法思想:利用求导的链式法则从后向前计算参数梯度值

w和b的偏导与输入、输出和真实值有关

反向传播算法_第1张图片

求出对w和b的偏导分别为0.9和0.6,假设学习率为0.1,则更新w=0.8-0.1×0.9=0.71,更新b=0.2-0.1×0.6=0.14,loss减小

反向传播算法_第2张图片

 增加层数:

反向传播算法_第3张图片

 

你可能感兴趣的:(深度学习,深度学习,人工智能)