[机器学习笔记]三:Generalized Linear Models（广义线性模型）

我们称广义线性模型为GLM

1. The exponential family(指数分布族)

为了说明GLMs，我们定义The exponential family为具有以下形式的函数：

p(y;η)=b(y)exp(ηTT(y)−a(η))(64) (64) p ( y ; η ) = b ( y ) e x p ( η T T ( y ) − a ( η ) )

在这里，我们称 η η 为自然参数， T(y) T ( y ) 为sufficient statistic， a(η) a ( η ) 为log partition function(划分函数),由 T,a,b T , a , b 组成了一个家族。

2.Constructing GLMs(构造广义线性模型)

想象一下你开了一家便利店，你想通过一些已知参数x来预测一下接下来你店里的人数y。这部分就会介绍如何对这些问题建立GLM。
为了推广这个问题，我们做以下三个假设
1. y|x;θ∼ExponentialFamily(η) y | x ; θ ∼ E x p o n e n t i a l F a m i l y ( η )
2.我们的目标是求 E[T(y)] E [ T ( y ) ] ，换句话说，就是令 h(x)=E[y|x] h ( x ) = E [ y | x ]
3. η η 与 x x 线性相关

2.1 Ordinary Least Squares(普通最小二乘)

to be continue…