机器学习中的微积分积累

极限

limit 

斜率

斜率有正负：
    斜率为正数，表示原函数与自变量正相关，
    反之原函数与自变量负相关。
    斜率的正负可以作为判断极值的一个条件：
        斜率等于0的驻点左侧附近为正，右侧附近为负，那么函数
        y=f(x)有极大值。
    
斜率为正时：
    斜率越大表示函数增速越快，斜率越小表示函数增速越慢。

斜率为负时：
    斜率越小表示函数降低的速度越快，斜率越大表示函数降低的速度越慢。

导数

Derivative

一个函数在某一点的导数描述了这个函数在这一点附近的变化率。

导数的本质是通过极限的概念对函数进行局部的线性逼近。


    

梯度

Gradient

梯度是一个向量，既有方向，又有大小。

多元函数中某点的梯度就是该函数在这一点的偏导数。

梯度上升求极大值：

    沿着梯度向量的方向，也就是加上梯度向量，容易找到函数的极大值。
    逻辑回归中求概率最大值，即求最大似然函数的最大值用到的方法。

梯度下降求极小值：

   沿着梯度向量相反的方向，也就是减去梯度向量，容易找到函数的极小值。
   对于梯度下降法来说，在神经网络中用到，最小化误差的一种优化方法。
 

极值

一般来讲，求函数的极值会先去求导数，然后令导数等于零，
这个点不一定是极值，但是一定是极值的必要条件，也就是说极值点的导数必为零。

极大值：
    函数增速越来
    
    
    y=x 2函数左半部分，前期

导数、梯度和极值
梯度上升和梯度下降