深度学习之什么是梯度

导数：理解为某处切线的斜率；
偏微分：向量，方向为各个变量的方向，对每一个变量都有一个偏微分；
梯度：向量，每个元素是在每个自变量上的偏微分；方向代表函数增长方向和增长趋势，模代表延这个方向增长的速率。
鞍点：在一个方向上取得极大值，一个方向取得极小值。

动量：momentum，理解为惯性，这样可以冲出局部极小值点，找到全局极小值点。
其他记录：
神经网络层数越深，loss函数越平滑，优化起来操作越容易进行。