为什么不使用线性回归而是逻辑回归解决二分类预测问题

1.逻辑回归解决的问题

毫无疑问是分类问题,可以有多分类和二分类。

2.为什么不使用线性回归?(逻辑回归与线性回归的异同?)

一句话,是因为当因变量为概率时,用不了线性回归。
为啥?
线性回归需要两个假设条件,即:

  • 高斯马尔科夫条件
    { c o v ( ϵ i , ϵ j ) = 0 if  i ≠ j D ( ϵ i ) = σ 2 任意i E ( ϵ i ) = 0 \begin{cases} cov(\epsilon_i,\epsilon_j)=0 &\text {if } i\ne j\\ D(\epsilon_i)=\sigma^2 &\text{任意i}\\ E(\epsilon_i)=0 \end{cases} cov(ϵi,ϵj)=0D(ϵi)=σ2E(ϵi)=0if i̸=j任意i
  • ϵ \epsilon ϵ正态性条件
    如果使用线性回归解决二分类问题,则违反了这些假设条件。如何违反的呢?
    在二分类问题中,y服从伯努利分布,即 y i y_i yi服从 B ( 1 , p i ) B(1,p_i) B(1,pi)。那么
  • 正态性不满足
    ϵ = y − y ^ \epsilon=y-\hat{y} ϵ=yy^
    而在二分类问题中,y只有0或1两个取值,所以
    { ϵ i = 1 − p i ϵ i = − p i \begin{cases} \epsilon_i=1-p_i \\ \epsilon_i=-p_i \end{cases} {ϵi=1piϵi=pi
    是离散的,只有两个取值,因此不满足正态性条件。
  • 高斯马尔科夫条件不满足
    E ( ϵ i ) = E ( y i − θ x i ) = p i ( 1 − p i ) + ( 1 − p i ) ( − p i ) = 0 E(\epsilon_i)=E(y_i-\theta x_i)=p_i(1-p_i)+(1-p_i)(-p_i)=0 E(ϵi)=E(yiθxi)=pi(1pi)+(1pi)(pi)=0
    挺好的,期望满足了。看看方差呢
    D ( ϵ i ) = D ( y i ) = p i ( 1 − p i ) = ( θ x i ) ( 1 − θ x i ) D(\epsilon_i)=D(y_i)=p_i(1-p_i)=(\theta x_i)(1-\theta x_i) D(ϵi)=D(yi)=pi(1pi)=(θxi)(1θxi)
    并不满足方差齐性。
    因此,从专业的统计角度来讲,这是不可以使用线性回归的理由之一;
  • 直观的想法:

线性回归要求自变量和因变量均为数值型变量,取值范围为实数轴,但二分类问题的y天然不满足,只取在0到1之间,因此直接使用线性回归的方法也是不合适的,要先对其进行变换,转换到实数轴之后再用类似于线性回归的方法进行建模。

这里的变换就是logit变换。
l o g p 1 − p log\frac{p}{1-p} log1pp
可以把0到1上的p映射到实数轴,利用
l o g p 1 − p = θ X log\frac{p}{1-p}=\theta X log1pp=θX
进行预测。

这里就可以利用简单的数学变换得到:
p = 1 1 + e − θ X p=\frac{1}{1+e^{-\theta X}} p=1+eθX1
即sigmoid函数。
这样的回归方法取名叫逻辑回归。
也就是说,逻辑回归是特殊的回归方法。

你可能感兴趣的:(机器学习)