机器学习数学基础概念

导数

定义

几何意义反映的是函数y=f(x)在某一点沿着x轴正方向的变化率。
物理意义表示函数在这一点（瞬时）的变化率

偏导数

涉及到多个自变量，对于两个自变量 Z=f(x,y) 则为一个三维空间。导数为平面，曲线上点的切线只有一条。对于曲面来说有无数条。
一个多变量函数的偏导数是它关于其中一个变量的导数，而保持其他变量恒定。

几何意义反映的是函数Z=f(x,y)在一个变量恒定的平面上沿着坐标轴正方向的变化率
偏导数的物理意义表示函数沿着坐标轴正方向上的变化率

方向导数

定义：一个标量场在某点沿着某个向量方向上的方向导数，描绘了该点附近标量场沿着该向量方向变动时的瞬时变化率
方向导数的物理意义表示函数在某点沿着某一特定方向上的变化率

梯度

梯度的意义：函数在变量空间的某一点处，沿着哪一个方向有最大的变化率。
梯度的大小就是方向导数