逻辑回归的损失函数和目标函数

损失函数

逻辑回归通常使用对数损失函数（Log Loss），也称为逻辑损失或交叉熵损失（Cross-Entropy Loss）。对于单个样本，对数损失函数定义如下：

对于样本 (x, y) ，其中 $(y\in 0,1)$ 是真实标签，模型预测为 $\hat{y}=\sigma (z))$，其中 $\sigma$是sigmoid函数，$z=w^{T}x+b$是线性模型的预测值，( w ) 是权重向量，( b ) 是偏置项。

单个样本的对数损失函数是：
$L(y,\hat{y})=-[y\log (\hat{y})+(1-y)\log (1-\hat{y})]$

目标函数

在逻辑回归中，目标函数通常是最小化所有训练样本上的平均损失，也就是最小化经验风险。如果我们有 ( N ) 个训练样本，则目标函数（通常称为成本函数）是：
$J(w,b)=\frac{1}{N}{\sum }_{i=1}^{N}L(y^{(i)},{\hat{y}}^{(i)})$

通常目标函数也包括正则化项，如L1或L2正则化，以防止过拟合和改善模型的泛化能力，这部分被称为 结构风险。带有L2正则化的目标函数如下：
$J_{\text{reg}}(w,b)=\frac{1}{N}[{\sum }_{i=1}^{N}L(y^{(i)},{\hat{y}}^{(i)})+\frac{\lambda }{2}||w|{|}^2]$

其中，$\lambda$是正则化项的强度参数，$||w|{|}^2$ 是权重向量 ( w ) 的L2范数的平方。【$||w|{|}_p$表示w的p范数，$L2$ 范数通常省略下标2】。

在训练过程中，通过梯度下降或其他优化算法最小化目标函数，从而找到使损失最小化的权重 ( w ) 和偏置 ( b ) 的值。