李宏毅2021春机器学习课程笔记 ---类神经网络训练不起来怎么办

局部最小值(local minima)与鞍点(saddle point)

李宏毅2021春机器学习课程笔记 ---类神经网络训练不起来怎么办_第1张图片
如果卡在local minima:no way 2 go
如果卡在saddle point :escape
泰勒展开近似:
李宏毅2021春机器学习课程笔记 ---类神经网络训练不起来怎么办_第2张图片

根据海瑟矩阵判断(二阶导 )李宏毅2021春机器学习课程笔记 ---类神经网络训练不起来怎么办_第3张图片
李宏毅2021春机器学习课程笔记 ---类神经网络训练不起来怎么办_第4张图片
vTHv>0 == positive matrix ==eigen value(特征值)大于0 [二次型]

李宏毅2021春机器学习课程笔记 ---类神经网络训练不起来怎么办_第5张图片
举例:y=w1w2x
x=1,y=1

李宏毅2021春机器学习课程笔记 ---类神经网络训练不起来怎么办_第6张图片特征值有正有负,代表鞍点
鞍点可以指出update的方向-H 负的特征值
李宏毅2021春机器学习课程笔记 ---类神经网络训练不起来怎么办_第7张图片
一维无路可走的局部最小值,二维有可能只是一个鞍点
->将这种思维进行扩展:

你可能感兴趣的:(课程笔记,1024程序员节)