【机器学习数学基础之矩阵02】矩阵求导

多元函数导数

    对于n维函数 ，y本身没有导数，但其对于每一个分量都有偏导，于是有如下定义：

        梯度向量：，其性质类似与一元函数的一阶导。

        Hessian矩阵：

            *值得注意的是，因为偏导顺序不影响结果，所以Hessian矩阵是一个实对称矩阵。

最速下降法

    最初看这个内容的时候迷迷糊糊的，但实际上很简单的一个东西。最速下降法在一元函数中是指沿着切线方向下降。

    而在多元函数中，函数在某点的最速下降方向为梯度向量的负方向。可以将其理解为切线。只是在多维函数中，该点的切线可能有无数条，而这其中切线向量范数最小的一个就是梯度向量的负方向。于是它是函数在该点的最速下降方向。

多元函数极值

    首先，在一元函数中，泰勒展开式能够完美证明极值点以及它的性质（是极大值还是极小值）。所以。科学家们利用多元泰勒展开式来求多元函数的极值。

    多元泰勒展开式：

    由一元函数类推可知：当函数在该点梯度向量为零向量时，只需判断Hessian矩阵的线性组合的正负即可。即：判断  的正负情况。这里需要用到正定矩阵和二次型的概念。

    二次型：对于n阶实对称矩阵A，设有n维向量x， 为A对应的二次型。

        正定矩阵：若A对应的二次型恒大于0，则称A为正定矩阵。

        负定矩阵：若A对应的二次型恒小于0，则称A为负定矩阵。

    正定矩阵的判别方法：

        对称矩阵正定的充分必要条件是各阶顺序主子式为正数。即：