梯度下降的向量法(矩阵法)推导总结

梯度下降向量化推导

再看了一篇博客后，了解了梯度下降向量化的推导公式，所以便写篇博客记录一下，加深一些记忆。
首先，对于输入矩阵X为m*n的矩阵

所以预测值为$y$:

MSE=$\frac{1}{2}\ast (y-y{)}^2=\frac{1}{2}(X\omega -y{)}^2$
接下来对式子进行化简
首先

$$X^{T}X=\sum X_{ij}^2$$

于是

$$MES=\frac{1}{2}(X\omega -y{)}^T(X\omega -y)$$

括号展开：

$${\omega }^T{X}^{T}X\omega -{\omega }^T{X}^{T}y-y^{T}X\omega +y^{T}y$$

对其进行梯度下降处理

$${\partial }_{\omega }({\omega }^T{X}^{T}X\omega -{\omega }^T{X}^{T}y-y^{T}X\omega +y^{T}y)$$
再利用矩阵的迹的性质来进行化简，矩阵的迹简单的说就是对方阵求其主对角线的和
那么等式就变为

$$\frac{1}{2}\frac{\partial (tr({\omega }^T{X}^{T}X\omega -{\omega }^T{X}^{T}y-y^{T}X\omega +y^{T}y))}{\partial \omega }$$

对于这个式子利用矩阵的迹的性质进行化简：$d(tr(AXB{X}^T))=X^{T}AB+AXB$ 把公式中的A看为单位矩阵，从而省略，B看成$X^{T}X$，从而对${\omega }^T{X}^{T}X\omega$该项进行化简，以及$tr(PQ)=tr(PQ{)}^T$来对${\omega }^T{X}^{T}y$转化
最后得到

$$\frac{1}{2}(X^{T}X\omega +X^{T}X\omega -2X^{T}y)=X^T(X\omega -y)$$

这也就是我们在利用梯度下降时，所采用的矩阵化计算方式，从而简化了迭代次数。