机器学习基石下--logistic regression

Gradient of logistic regression error

下一步，求Ein(w)的最小值。可以证明Ein(w)是连续、可微、二次可微的，且二次微分矩阵为正定矩阵。因此Ein(w)是个凸函数（convex）。

image.png

Ein(w)的梯度：

image.png

想要Ein(w)的梯度等于0，有两种情况

image.png

一种是所有的θ项都为0，这种情况只有在数据集是线性可分时才会出现。
另一种是加权和等于0，这是一个w的非线性方程，没有解析解，或称封闭解(close-form solution)。只能通过迭代法求解

image.png

迭代法求最优解
沿着某个方向迈出最大一步

image.png

做泰勒展开，将问题转化为线性问题：

image.png

给定步长条件下，求最优解的一种贪婪算法

image.png

image.png

v的方向已经确定，下一步，如何确定步长η

image.png

步长η与梯度项成正比，进一步简化

image.png

因此，logistic regression的演算法可总结为：

image.png