唐宇迪学习笔记8：逻辑回归算法

目录 

一、逻辑回归算法原理

Logistic regression

1、目的

2、机器学习算法选择

3、逻辑回归的决策边界

Sigmoid 函数

1、公式

2、图像

3、解释

二、化简与求解

Sigmoid 函数

1、预测函数

2、分类任务

3、解释

Logistic regression

1、似然函数

2、对数似然

3、求导过程

 4、参数更新

5、多分类的softmax:

---

逻辑回归算法是一个分类算法，不是一个回归算法。（回归得到一个数、分类得到一个结果。）

一、逻辑回归算法原理

Logistic regression

1、目的

分类还是回归?它是经典的二分类算法!

2、机器学习算法选择

先逻辑回归再用复杂的，能简单还是用简单的。

3、逻辑回归的决策边界

可以是非线性的。

Sigmoid 函数

1、公式

2、图像

 自变量取值为任意实数，值域[0,1]。

3、解释

将任意的输入映射到了[0,1]区间。我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid 函数中，这样就完成了由值到概率的转换，也就是分类任务。

二、化简与求解

Sigmoid 函数

1、预测函数

其中，

2、分类任务

整合：

3、解释

对于二分类任务(0，1)，整合后y取0时只保留，y取1时只保留。

Logistic regression

1、似然函数

2、对数似然

此时应用梯度上升求最大值，引入转换为梯度下降任务。

3、求导过程

 4、参数更新

5、多分类的softmax:

总结:逻辑回归真的真的很好很好用!