西瓜书《机器学习》阅读笔记6——Chapter3_公式(3.27)的推导过程

下面全部用 β x^ 表示。

极大似然法最大化:

l(β)=i=1mlnp(yi|x^i;β)(1)

并且有:

p(yi|xi;ω,b)=yip1(x^;β)+(1yi)p0(x^;β)(2)

p0(x^;β) 是预测为反例的概率:

p0(x^;β)=11+eβTx^(3)

p1(x^;β) 是预测为正例的概率:
p1(x^;β)=eβTx^1+eβTx^(3)

把公式(2)(3)(4)代入公式(1)中,得到:

l(β)=i=1mln{yip1(x^;β)+(1yi)p0(x^;β)}=i=1mln{yieβTx^1+eβTx^+(1yi)11+eβTx^}=i=1mln{yieβTx^+(1yi)1+eβTx^}=i=1mln{yi(eβTx^1)+11+eβTx^}=i=1m{ln{yi(eβTx^1)+1}ln{1+eβTx^}}=mi=1ln{1+eβTx^}    mi=1{βTx^ln{1+eβTx^}}    if yi=0if yi=1=i=1m{yiβTx^ln{1+eβTx^}}

这是最大化目标函数,最小化需要加负号,得到书中公式(3.27)。

你可能感兴趣的:(机器学习)