【机器学习】汇总详解：矩阵的迹以及迹对矩阵求导

矩阵的迹概念

        矩阵的迹 就是 矩阵的主对角线上所有元素的和。

        矩阵A的迹，记作tr(A)，可知tra(A)=∑aii，1<=i<=n。

定理：tr(AB) = tr(BA)

证明

定理：tr(ABC) = tr(CAB) = tr(BCA)

    这个是tr(AB)=tr(BA)的推广定理，很容易证明。

    根据定理tr(AB)=tr(BA)可知：

        tr(ABC)=tr((AB)C)=tr(CAB)

        tr(ABC)=tr(A(BC))=tr(BCA)

        所以tr(ABC)=tr(BCA)=tr(CAB)

    这个定理的实质就是：ABC的各种循环形式的矩阵乘函数的迹都相等，如下解释：

         ABC的循环形势有三种：ABC、BCA，CAB。

        就是从ABCABC中依次取以A,B,C开头且含有A、B、C的依次是：ABC、BCA、CAB，他们三个的迹相等~

定理：tr(A)=tr(A')，其中这里的A'表示A的转置矩阵

    不能更容易证明了，矩阵转置不改变矩阵的主对角线上的所有元素，所以A和A的转置矩阵的迹一定相等。

定理：d(tr(XB))=d(tr(BX))=B'

即：XB矩阵乘函数的迹对X求导 结果等于矩阵B的转置

证明

定理：d(tr(X'B)) = d(tr(BX'))=B

即:X'B的矩阵乘函数的迹对X求导等于矩阵B

证明：

定理：如果a∈实数，则有tr(a)=a

    证明：把a当做一个1×1的矩阵，所以tr(a)=a

定理：dtr(X) = I(单位矩阵)

dtr(X)表示，矩阵X的迹对矩阵X自己求导等于单位矩阵I

定理：dtr(A'XB')=dtr(BX'A)=AB

证明：

因为tr(A'XB')=tr(A'XB')'=tr(BX'A)=tr(ABX')

所以dtr(A'XB')=dtr(BX'A)=dtr(ABX')

又因为dtr(ABX')=AB

所以dtr(A'XB')=dtr(BX'A)=AB

定理：d(tr(AXBX'))=AXB + A'XB'

证明：

定理：dtr(AXBX)=A'X'B'+B'X'A'

证明

(end)