Logistic回归，正则项

Logistic回归的目标函数

Logistic回归的损失函数采用Logistic损失/交叉熵损失：

其中y为真值，为预测值为1的概率。

同其他机器学习模型一样，Logistic回归的目标函数也包括两项：

训练集上的损失和+正则项

类似回归人物，正则项R(w)可视为L1正则、L2正则、L1正则+L2正则。

 

正则项

线性回归：目标函数可以不加正则项（OLS）

Logistic回归：必须加正则

当训练完全可分时，为了使logistic损失和最小（0），每个。

而，要求。

因此必须加正则，找到与训练数据拟合好的最简单模型：

L1正则：

L2正则：

Scikit-Learn中实现Logistic回归LogisticRegression也是带正则的（默认为L2正则）

class sklearn.linear_model.LogisticRegression(penalty=’l2’, dual=False,

tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None,

random_state=None, solver=’liblinear’ , max_iter=100,

multi_class=’ovr’ , verbose=0, warm_start=False, n_jobs=1)

实现的目标函数为：