机器学习笔记_回归_3: 广义线性模型

指数分布族

参看：机器学习笔记(july七月)_数学基础_2-概率论
http://blog.csdn.net/mijian1207mijian/article/details/49896689

• 满足指数族分布 <=> GLM广义线性模型
• 二项分布和正态分布概率密度函数均可以由指数族的标准形式推出；

广义线性模型

线性模型： E(Y)=μ=∑k=1Kβkxk

GLM: η是从x1,...,xk得到的一个线性的预测变数 η=∑k=1Kβkxk

• η和μ的关系是广义模型的区分=>连接函数E(Y)=η
  1. 线性： η=μ
  2. logit ： η=log[μ1−μ]
  3. probit： η=logμ
  4. 多类别logit: μi=log(μjμJ)

• 关系函数的选择：取决于y（随机变量）的分布