逻辑回归

目录

  • 一、前言
  • 二、什么是逻辑回归
    • 1.1 线性回归能解决分类问题么?
    • 1.2 用逻辑回归解决分类问题

一、前言

逻辑回归(Logistic Regression,LR)。在Kaggle竞赛的统计中,LR算法以63.5%的出产率,荣获各领域中“出场率最高的算法”这一殊荣。在实际场景中,逻辑回归同样应用广泛,大到国家各项经济政策的制定,小到计算广告CTR,都能看到LR算的身影。

除了应用广泛外,LR的建模过程还体现了数据建模中很重要的思想:对问题划分层次,并利用非线性变换和线性模型的组合,将未知的复杂问题分解为已知的简单问题。因此,我们可以说:理解好逻辑回归的细节,就掌握了数据建模的精髓。

二、什么是逻辑回归

1.1 线性回归能解决分类问题么?

其实,线性回归是不能解决分类问题的。因为我们在使用线性回归模型时,我们实际上做了3个假设(实际上有更多的假设,这里只讨论最基本的三个):

  • 因变量和自变量之间呈线性相关
  • 自变量与干扰项相互独立
  • 没被线性模型捕捉到的随机因素服从正态分布

从理论上来说,任何数据放在任何模型里都会得到相应的参数估计,进而通过模型对数据进行预测。但是这并不一定能保证模型效果,有时会得到“错且无用”的模型,因此建模的过程中需要不断提出假设和检验假设

1.2 用逻辑回归解决分类问题

其实的原理就是,将样本的特征和样本发生的概率联系起来,即,预测的是样本发生的概率是多少?由于概率是一个数,因此被叫做“逻辑回归”。
在线性回归算法中,进行房价预测得到的结果值y=f(x),就是我们预测的房价,是一个数值。但是在逻辑回归中,得到的预测值是一个概率,然后在概率的基础上多做一步操作,得到分类的结果。比如某银行使用逻辑回归做风控模型,先设置一个阈值0.5,如果得到它逾期的概率大于0.5,就不放款;否则就放款。对于“放款” or “不放款”来说,实际上是一个标准的分类问题。
在这里插入图片描述
通过这个例子可以看出,在回归问题上再多做一步,就可以作为分类算法来使用了。逻辑回归只能解决二分类问题,如果是多分类问题,LR本身是不支持的。

你可能感兴趣的:(机器学习)