pytorch[11]

1 x 1卷积可以降低运算压力

pytorch[11]_第1张图片

结构代码

pytorch[11]_第2张图片

pytorch[11]_第3张图片

pytorch[11]_第4张图片

多层神经网络会出现梯度消失现象

其为 多个分别求导反向相乘,如果每个值都很小 那么靠近输入的梯度就可能消失

pytorch[11]_第5张图片

 解决方式   残差网络

通过右边图的方式可以将梯度变到1附近,保证相乘的值不过小,不梯度消失

如果对        F(X)求导过小,那么也就意味着这个层没有用。加x,求导后为1 也不改变反向求导的值

pytorch[11]_第6张图片

pytorch[11]_第7张图片

pytorch[11]_第8张图片

 pytorch[11]_第9张图片

作业

pytorch[11]_第10张图片

 pytorch[11]_第11张图片

后续学习发展

不要简单的跑论文代码,而是要自己去写,才能实现学习

pytorch[11]_第12张图片

谢谢刘老师

你可能感兴趣的:(pytorch,深度学习,人工智能)