机器学习笔记_逻辑回归

逻辑回归解释

• 广义线性模型中的连接函数：线性+logit+probit+对数+多类别
• 其中二分：logit+probit
• 链接函数的选择源于Y随机变量分布决定了关系函数

• Yi 服从正态分布 =>线性模型
• Yi 服从伯努利模型=>logistic模型

• Y成功胜率的对数(logit)是线性模型 （ π是X=x时，Y=1的概率 ）

  => log(πi1−πi)=α+βxi (两个解释：广义线性模型；对数比)
  => πi 是概率(0,1)区间(可以采用加权最小二乘计算，太复杂=>转逻辑回归函数)
  => π 和x的关系为逻辑回归函数描述

π=Pr(Y=1|X1=x1,...,Xp=xp)=11+e−θTx =>Y=1的概率
1−π=Pr(Y=0|X1=x1,...,Xp=xp)=11+eθTx =>Y=0的概率

=>
g(z)=11+e−z
hθ(x)=g(θTx)=11+e−θTx

=>
g(z)′=g(z)(1−g(z))

=>

P(Y|X;θ)=(π)y(1−π)y

L（θ）=p(y¯|X;θ)=∏i=1m(hθ(xi))yi(1−hθ(xi))1−yi

=>

l(θ)=logL(θ)=∑i=1m[yilnπi(1−πi)+ln(1−πi)]

=> 迭代求导=>结果和线性回归相等

∂l(θ)∂θj=(y−hθ(x))xj
=>
梯度下降

θj:=θj+α(yi−hθ(xi))x(i)j

连接函数：单调可导

1. 恒等: g(u)=u => 线性回归
2. 对数: g(u)=ln(u)=>线性转换为乘积关系
3. Logit: g(u)=ln(u/(1-u))=>预测值控制在[0,1],对比率合适

logistic的本质

对数几率：

p(y=1|x;θ)=hθ(x)
p(y=0|x;θ)=1−hθ(x)

logit(p)=logp1−p=loghθ(x)1−hθ(x)=wTx

对数线性的解释：

1. Y服从二项分布； ε服从logistic分布
2. 概率转换为比数=某事情的可能性表示为发生和不发生的比数
3. 概率存在上限[0,1];比数没有=>广义线性回归

probit模型(累积分布形式)

• logistic是比数对数形式

• 广义线性模型的 η=Φ−1(μ);Φ−1是标准正态累积分布函数的倒数

• Probit(y=1)=Φ(∑k=1Kβkxk) => Z分数

• 转换为正态分布的计算，计算复制