深度学习之网络优化与正则化

视频链接:7.1 神经网络优化的特点_哔哩哔哩_bilibili

神经网络优化的特点

网络优化的难点

(1)网络结构差异大:不同模型之间的结构差异大——没有通用的优化算法、超参数多

(2)非凸优化问题:导致得到的最优解可能是全局最优解——参数如何初始化、如何逃离局部最优或鞍点

(3)梯度消失和爆炸问题:当网络非常深时,靠下的层的参数的梯度要么接近0,要么非常大,十分难优化

高维空间中的非凸优化问题

低维空间中的非凸优化问题要解决的核心问题是如何逃离f'(x)=0的局部最优解

而在高维空间中的非凸优化问题要解决的核心问题是如何逃离鞍点

鞍点:梯度为0的点

深度学习之网络优化与正则化_第1张图片

鞍点在某些维度上是局部最小点,而在某些维度上是局部最大点

你可能感兴趣的:(深度学习,人工智能)