再谈线性回归与逻辑回归-损失函数

高级机器学习笔记

线性回归的损失函数我们采用的是均方误差函数。而逻辑回归采用的是交叉熵。

均方误差

对于线性函数来说，我们使用平方形式的时候，使用了“最小二乘”的思想，就是用平方来度量估计值与真实值的距离，使其达到最小。而且，如果假设误差服从正态分布，它与最大似然估计在本质上是相同的。

如下面两张图所示：

误差满足正太分布的话，那么我们可以让似然函数L(w)取最大的值，然后可以求出红框中的形式，也就是使均方误差函数取最小。

交叉熵

理论上来说，我们也可以在逻辑回归中沿用均方误差函数，但是把sigmod函数带入均方误差函数时，得到的函数是非凸函数，有许多局部最小值。所以定义新的损失函数。当然这也可以用最大似然方法来得到这样的形式。如下图所示。最后一行即为交叉熵损失函数的形式（取负号改成最小化该损失函数）。

当我们对交叉熵函数再利用梯度下降，更新参数时，得到了这样的结果（详细推导过程在Ng的学习笔记中有）。

得到了与之前线性函数一样的形式（同样注意交叉熵函数取负号），但是这里的f(x,W)是不一样的。