机器学习笔记1_3:广义线性模型(GLM, Generalized Linear Models)

1. 形式：
   
   η 称为自然参数(natural parameter), T(y)是充分统计量（通常T(y)=y）, a(η) 称为log partition function，上式中 e−a(η) 作为归一化参数。通过改变 η 可以得到不同的分布
   
   • 伯努利分布（对应逻辑回归）：
     
     上式中 η=log(ϕ1−ϕ) ,有趣的是，如果我们反解出 ϕ 会得到 ϕ=11+e−η ,正好是sigmoid函数
     
   • 高斯分布(对应线性回归)
     为了简便起见，令 σ2=1 得到
     
     其中：