逻辑回归

Logistic regression

目的:分类还是回归?经典的二分类算法!

机器学习算法选择:先逻辑回归再用复杂的,能简单还是用简单的

逻辑回归的决策边界:可以是非线性的

Sigmoid 函数

公式:

自变量取值为任意实数,值域[0,1]

解释:将任意的输入映射到了[0,1]区间

我们在线性回归中可以得到一个预测值,再将该值映射到Sigmoid 函数中这样就完成了由值到概率的转换,也就是分类任务

预测函数:

其中

分类任务:

整合:

解释:对于二分类任务(0,1),整合后

y取0只保留

y取1只保留

似然函数:

对数似然:

此时应用梯度上升求最大值,引入转换为梯度下降任务

求导过程:

参数更新:

多分类的softmax:

你可能感兴趣的:(逻辑回归)