机器学习里的逻辑回归Logistic Regression基本原理与应用

Logistic Regression 即逻辑回归，是一种广泛应用于机器学习和数据挖掘领域的有监督学习算法，以下从原理、应用、算法优缺点等方面进行介绍：

基本原理

线性回归基础：逻辑回归基于线性回归模型，其基本形式为：

$z=w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b$

其中$x_i$是特征变量，$w_i$是对应的权重，$b$是偏置项。

Sigmoid 函数：为了将线性回归的结果映射到分类任务上，逻辑回归引入了 Sigmoid 函数：

$S(z)=\frac{1}{1+e^{-z}}$

该函数可以将$z$值映射到$0$到$1$之间的概率值，用于表示样本属于某一类别的可能性。

决策边界：通过设定一个阈值（通常为$0.5$）来确定样本的类别。若$S(z)\ge 0.5$，则将样本归为正类（通常标记为$1$）；若$S(z)<0.5$，则归为负类（通常标记为$0$）。

损失函数

逻辑回归常用的损失函数是对数损失函数（Log Loss），也称为交叉熵损失函数。

公式定义

对于单个样本$(x_i,y_i)$，其中$x_i$是样本的特征向量，$y_i$是样本的真实标签（$y_i\in \{0,1\}$），模型预测的概率为 y ^ i \hat{y}_i