逻辑回归及其数学推导

本文只讨论二分类的情况

一、逻辑回归

P(Y=1|X=x)=ewTx1+ewTx=h(x)P(Y=0|X=x)=11+ewTx=1−h(x)logP(Y=1|X=x)P(Y=0|X=x)=wTx

二、参数估计（极大似然估计）

似然函数：

l(w)=∏i=1nh(xi)yi(1−h(xi))1−yi

对数似然函数：

L(w)=∑i=1n(yilogh(xi)+(1−yi)log(1−h(xi)))=∑i=1n(yiwTxi−yilog(1+ewTxi)+(yi−1)log(1+ewTxi))=∑i=1n(yiwTxi−log(1+ewTxi))

可以证明 L(w) 是关于 w 的凸函数，有最大值，证明如下：
令 f(w)=ywTx−log(1+ewTx)

∂f(w)∂w=yx−ewTx1+ewTx

∂2f(w)∂w∂wT=−xewTxxT(1+ewTx)2=−ewTx(1+ewTx)2xxT

∀ 非零向量 z ， zT(xxT)z=zTx(zTx)T≥0 ,又因为 ewTx(1+ewTx)2>0 ，所以 ∂2f(w)∂w∂wT 是半负定矩阵，即 f(w) 是关于 w 的凸函数，有最大值。
对数似然函数对向量 w 求导，可得：

∂L(w)∂w=∑i=1n(yixi−ewTxi1+ewTxixi)=∑i=1n(yi−ewTxi1+ewTxi)xi=∑i=1n(yi−h(xi))xi

BGD求解：

注意此处 w 是向量

w=w+λ∑i=1n(yi−h(xi))xi

SGD求解：

w=w+λ(yi−h(xi))xi

MBGD求解：

假设每次使用 b 个样本
fori=1,1+b,1+2b,...

w=w+λ∑k=ii+b(yi−h(xi))xi