唐宇迪学习笔记8:逻辑回归算法

目录 

一、逻辑回归算法原理

Logistic regression

1、目的

2、机器学习算法选择

3、逻辑回归的决策边界

Sigmoid 函数

1、公式

2、图像

3、解释

二、化简与求解

Sigmoid 函数

1、预测函数

2、分类任务

3、解释

Logistic regression

1、似然函数

2、对数似然

3、求导过程

 4、参数更新

5、多分类的softmax:


逻辑回归算法是一个分类算法,不是一个回归算法。(回归得到一个数、分类得到一个结果。)

一、逻辑回归算法原理

Logistic regression

1、目的

分类还是回归?它是经典的二分类算法!

2、机器学习算法选择

先逻辑回归再用复杂的,能简单还是用简单的。

3、逻辑回归的决策边界

可以是非线性的。

Sigmoid 函数

1、公式

\large g(z)=\frac{1}{1+e^{-z}}

2、图像

唐宇迪学习笔记8:逻辑回归算法_第1张图片

 自变量取值为任意实数,值域[0,1]

3、解释

将任意的输入映射到了[0,1]区间。我们在线性回归中可以得到一个预测值,再将该值映射到Sigmoid 函数中,这样就完成了由值到概率的转换,也就是分类任务。

二、化简与求解

Sigmoid 函数

1、预测函数

唐宇迪学习笔记8:逻辑回归算法_第2张图片

其中,唐宇迪学习笔记8:逻辑回归算法_第3张图片

2、分类任务

唐宇迪学习笔记8:逻辑回归算法_第4张图片

整合:

3、解释

对于二分类任务(0,1),整合后y取0时只保留\large (1-h_{\theta}(x))^{1-y},y取1时只保留\large (h_{\theta }(x))^{y}

Logistic regression

1、似然函数

2、对数似然


此时应用梯度上升求最大值,引入\large J(\theta )=-\frac{1}{m}l(\theta )转换为梯度下降任务。

3、求导过程

唐宇迪学习笔记8:逻辑回归算法_第5张图片

 4、参数更新

唐宇迪学习笔记8:逻辑回归算法_第6张图片

5、多分类的softmax:

唐宇迪学习笔记8:逻辑回归算法_第7张图片

总结:逻辑回归真的真的很好很好用!

你可能感兴趣的:(逻辑回归)