逻辑回归中的损失函数的解释

1.Logistic Regression（逻辑回归）

逻辑回归是机器学习中的一个非常常见的模型， 逻辑回归模型其实仅在线性回归的基础上，套用了一个逻辑函数。

逻辑回归可以看做是两步，第一步和线性回归模型的形式相同，即一个关于输入x的线性函数：

第二步通过一个逻辑函数，即sigmoid函数，将线性函数转换为非线性函数。

2.损失函数

为了训练逻辑回归模型的参数w和b需要一个代价函数，算法的代价函数是对m个样本的损失函数求和然后除以m：

3.为什么逻辑回归的损失函数是这样的形式

我们假定输入样本x，用y^表示训练样本x条件下预测y=1的概率，对应的，用1-y^表示训练样本x条件下预测y=0的概率，也就是说：

我们可以把这两个公式合并成一个公式：

可以发现，在y=1时公式右边等于y^，在y=1时公式右边等于1-y^。由于log函数是严格递增函数，所以最大化log等价于最大化原函数，上式因此可以化简为式子，也就是损失函数的负数。

（上式第一个符号应当是+号，感谢评论区细心的小伙伴指出，手动笔芯）

最大化似然函数也就是最小化损失函数。

对于m个样本的整个训练集，服从独立同分布的样本的联合概率就是每个样本的概率的乘积：

同样的，最大化似然函数也就是最小化代价函数，因此可以去掉负号，并除以一个常数m对代价函数进行适当的缩放，得到：

4.参考资料

以上是解释在逻辑回归中为什么设定这样的损失函数，对之后的深度学习的损失函数原理做一定启发。参考资料是Andrew Ng在Coursera上的neural networks and deep learning课程：

https://www.coursera.org/learn/neural-networks-deep-learning/home/welcome