吴恩达深度学习--logitic回归损失函数

2.3logitic回归损失函数

       学习损失函数和误差函数可以用来检测算法运行情况，如在算法输出时定义损失，yhat和实标y有可能是一个或半个平方误差。

平方误差函数

      你可以如此操作，但一般在逻辑回归里不进行此操作，因为当研究参数时，我们讨论的优化问题将会变成非凸问题，所以优化问题会产生多个局部最优解，梯度下降算法也就无法找到全局最优解。

       函数L被称为损失函数，需要进行设定，才能在实标为y时对输出yhat进行检测。平方误差整体是个合理的选择，除了无法让梯度下降算法良好运行，所以在逻辑回归中，我们会设定一个不同的损失函数充当平方误差这样能产生一个凸象最优问题使之后的优化变得更加容易，所以实际要使用的逻辑回归函数如下。

如果使用上述的平方误差函数，平方误差需要尽可能的小。

在此逻辑回归损失函数里，我们也要这个数值尽可能小。

为了助于理解，我们举两个例子。

例子1：

假定=1，得到上述式。如果y=1,-logyhat就必须尽可能大，因此logyhat必须大，由于yhat是sigmod函数，它无法大于1。这也就是说y=1时，yhat值要尽可能的大，但却不能大过1，所以yhat值要无限接近1

例子二：

如果y=0,损失函数中的第一项也等于0，因为y=0,所以第二项设定损失函数，这意味着log(1-yhat)的值要大。又因为有负号，就是损失函数会使得yhat尽可能变小，因为yhat的数值再0~1之间。

如果y=0,损失函数将作用于参数使得yhat无限趋近于0

接下来，我要设定代价函数来检测优化组的整体运行情况，所以运用于参数W和B的代价函数J是取m平均值损失函数的总和运用于优化示例。损失函数的总和运用于优化示例。

这里的yhat是你的逻辑回归算法预计的输出值，

用一组特定的W和B参数。

损失函数适用于像这样单一的优化示例，损失函数反映的是你的参数成本，所以在优化你的逻辑回归模型时，我们要试着去找参数W和B

以此来缩小J的整体成本。