2018-10-31 logistic 回归的三步骤

step 1

同样考虑一个而分类问题，此时Function Set 为

令

，z与 P(C1|x)的关系如下所示，是一条在[0,1]之间单调递增的曲线。

如果P(C1|x)>0.5，class为C1，否则为C2。 

step 2

classC1的标记y^为1，classC2的标记y^为0，则 P(C1|x)可以写为：

则可以得出拟然函数：

最大化拟然数，等价于极小化-lnL，即可以得到：

cross entropy between two bernoulli distribution.

step 3

经过一番推到：计算出-ln(L)的导数，利用梯度衰减法求出-ln(L)最小时的Wi。