台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)

文章目录

  • Introduction
  • Neural Network
  • Backpropagation

Introduction

台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第1张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第2张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第3张图片
Deep Learning的神经网络就是一个function

Neural Network

台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第4张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第5张图片
现在用的激活函数已经是tanh或者leakyRelu了。
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第6张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第7张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第8张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第9张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第10张图片
ResNet用了特殊的结构,不是单纯的叠加层数
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第11张图片
其实本质用的Matrix Operation。但是我现在想不起来batch是怎么做运算的。batch应该是增加一维。
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第12张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第13张图片
这种线性代数的计算不断堆叠,GPU算起来更快。
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第14张图片
可以看到中间的隐藏层作用就是特征的提取,代替了机器学习的特征工程。
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第15张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第16张图片
输入256维,输出10维
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第17张图片
hidden layer可以产生无数个function,我们要通过梯度下降来找到最佳的一个funciton。
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第18张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第19张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第20张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第21张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第22张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第23张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第24张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第25张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第26张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第27张图片

Backpropagation

台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第28张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第29张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第30张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第31张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第32张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第33张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第34张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第35张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第36张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第37张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第38张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第39张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第40张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第41张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第42张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第43张图片
台大李宏毅老师——深度学习 课程笔记 五 (Deep Learning BackPropagation)_第44张图片

你可能感兴趣的:(深度学习,深度学习,人工智能)