【深度学习】逻辑回归模型

逻辑回归模型

机器学习的分类

机器学习的两个种类：

1. 有监督学习：数据集带标签（题目有正确答案）
2. 无监督学习：数据集不带有标签，比如聚类算法

有监督学习两大任务：

1. 回归任务：预测结果是无限个值，是连续值（体重值、分数值、可能性百分比…）
2. 分类任务：预测结果的种类有限，是离散值（是/不是、健康/不健康…）

逻辑回归模型原理

逻辑回归是利用回归的方法进行二分类。

常用 $\sigma (x)$ 或者 $sig(x)$ 表示 sigmoid 函数。

线性回归模型的结果通过 sigmoid 函数映射到0-1的区间，通过阈值将其二分类。

损失函数

定义损失函数（以一维为例）：

$J(w,b)=y\cdot \log \sigma (wx+b)+(1-y)\cdot \log (1-\sigma (wx+b))$

• 对于一个样本，其真实标签为 $y$（取值为 0 或 1）。我们希望当 $y=1$ 时，$\sigma (wx+b)$ 尽可能地接近 1，当 y = 0 y=0