4-《PyTorch深度学习实践》-反向传播

梯度更新,简单模型,解析式做
4-《PyTorch深度学习实践》-反向传播_第1张图片
复杂模型
4-《PyTorch深度学习实践》-反向传播_第2张图片
通过计算图图的方式,方向传播求出来
4-《PyTorch深度学习实践》-反向传播_第3张图片
两层线性网络存在的问题,多少层叠加最好都是线性层,叠加就没意义了
4-《PyTorch深度学习实践》-反向传播_第4张图片
张量的每个值增加一个非线性函数
4-《PyTorch深度学习实践》-反向传播_第5张图片
链式求导法则
4-《PyTorch深度学习实践》-反向传播_第6张图片
链式求导法则,矩形框里面的局部梯度导数,正向求损失的时候梯度就提前算好了,提前把梯度存储好了,pytorch存到变量里面
4-《PyTorch深度学习实践》-反向传播_第7张图片
前馈和反馈
4-《PyTorch深度学习实践》-反向传播_第8张图片
最简单的线性模型
4-《PyTorch深度学习实践》-反向传播_第9张图片
4-《PyTorch深度学习实践》-反向传播_第10张图片
张量,参数数据w和梯度,构建模型,本质上就是在构建计算图4-《PyTorch深度学习实践》-反向传播_第11张图片
pytorch的定义
4-《PyTorch深度学习实践》-反向传播_第12张图片
人》计算机》语言》图
4-《PyTorch深度学习实践》-反向传播_第13张图片
代码,前馈和反馈,张量是有函数的,张量也有参数,转换成标量,张量操作是在构建计算图,占内存
可以额外手动配置清零,有些时候需要累加是不需要清零的
4-《PyTorch深度学习实践》-反向传播_第14张图片
W的梯度要清零,昨晚更新导数还在,如果不清,下次会把上次的结果做累加
4-《PyTorch深度学习实践》-反向传播_第15张图片
计算图
4-《PyTorch深度学习实践》-反向传播_第16张图片
反向
4-《PyTorch深度学习实践》-反向传播_第17张图片

你可能感兴趣的:(PP/TF/PT,深度学习,pytorch,人工智能)