[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】

此笔记来源于李宏毅老师的机器学习视频,以下属于自己的理解以及老师上课的内容,由于公式过多,不便于直接打字,故用手写笔记替代。

Github的链接(pdf):https://github.com/Bessie-Lee/Deep-Learning-Recodes-LiHongyi

类神经网络训练不起来有四个原因,分别是:

  • local minima与saddle point
  • batch与momentum(批次与动量)
  • learning rate
  • loss

下面将由手写笔记配上李宏毅老师的ppt进行逐一解释

reason1:critical point

[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第1张图片
[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第2张图片
[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第3张图片
[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第4张图片

reason2:batch and momentum

[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第5张图片


[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第6张图片
[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第7张图片
[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第8张图片
[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第9张图片

reason3:learning rate

[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第10张图片

[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第11张图片
[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第12张图片
[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第13张图片
[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第14张图片

reason4:loss

[李宏毅老师深度学习视频] 类神经网络训练不起来的四大原因 【手写笔记】_第15张图片

你可能感兴趣的:(学习ML+DL,深度学习,神经网络,人工智能,momentum,learning,rate)