西瓜书《机器学习》阅读笔记6——Chapter3_公式(3.27)的推导过程

下面全部用 β 和 x^ 表示。

极大似然法最大化：

l(β)=∑i=1mlnp(yi|x^i;β)(1)

并且有：

p(yi|xi;ω,b)=yip1(x^;β)+(1−yi)p0(x^;β)(2)

p0(x^;β) 是预测为反例的概率:

p0(x^;β)=11+eβTx^(3)

p1(x^;β) 是预测为正例的概率:

p1(x^;β)=eβTx^1+eβTx^(3)

把公式(2)(3)(4)代入公式(1)中，得到：

l(β)=∑i=1mln{yip1(x^;β)+(1−yi)p0(x^;β)}=∑i=1mln{yieβTx^1+eβTx^+(1−yi)11+eβTx^}=∑i=1mln{yieβTx^+(1−yi)1+eβTx^}=∑i=1mln{yi(eβTx^−1)+11+eβTx^}=∑i=1m{ln{yi(eβTx^−1)+1}−ln{1+eβTx^}}=⎧⎩⎨⎪⎪∑mi=1−ln{1+eβTx^}    ∑mi=1{βTx^−ln{1+eβTx^}}    if yi=0if yi=1=∑i=1m{yiβTx^−ln{1+eβTx^}}

这是最大化目标函数，最小化需要加负号，得到书中公式(3.27)。