罗杰斯特回归

1. 罗杰斯特回归(Logistic)函数

hθ=g(θTx)=11+e−θTx h θ = g ( θ T x ) = 1 1 + e − θ T x

2. 罗杰斯特回归最基本的学习算法是最大似然法

设共有 n n 个独立的训练样本，其中 n1 n 1 个属于 w1 w 1 类， n2 n 2 个属于 w2 w 2 类，将两类的输出分别编码为 y=1 y = 1 和 y=0 y = 0 。

每一个观察到的样本 (xi,yi) ( x i , y i ) 出现的概率是：

P(xi,yi)=P(yi|xi)yi(1−P(yi|xi))1−yiP(xi)=defζ(xi,yi) P ( x i , y i ) = P ( y i | x i ) y i ( 1 − P ( y i | x i ) ) 1 − y i P ( x i ) = def ζ ( x i , y i )

n n 个独立样本出现的似然函数为：

l=∏i=1Nζ(xi,yi) l = ∏ i = 1 N ζ ( x i , y i )

L′(β)=ln(l)=∑i=1n{yiln(P(yi|xi))+(1−yi)ln(1−P(yi|xi))} L ′ ( β ) = l n ( l ) = ∑ i = 1 n { y i l n ( P ( y i | x i ) ) + ( 1 − y i ) l n ( 1 − P ( y i | x i ) ) }

最大似然估计量就是微分方程 dL′(β)/dβ=0 d L ′ ( β ) / d β = 0

将式进行推导，得到下列方程组

∑i=1n(yi−P(yi|xi))=0∑i=1nxi(yi−P(yi|xi))=0 ∑ i = 1 n ( y i − P ( y i | x i ) ) = 0 ∑ i = 1 n x i ( y i − P ( y i | x i ) ) = 0