广义线性模型Generalized Linear Model (GLM)

这一段主要讲的是广义线性模型的定义和假设，为了看明白逻辑回归，大家要耐着性子看完。


1.The exponential family 指数分布族

因为广义线性模型是围绕指数分布族的，因此需要先介绍，用NG大神的话说就是，“虽然不是全部，但是我们见过的大多数分布都属于指数分布族，比如：Bernoulli伯努利分布、Gaussian高斯分布、multinomial多项分布、Poisson泊松分布、gamma分布、指数分布、Dirichlet分布……”服从指数分布族的条件是概率分布可以写成如下形式：

η 被称作natural parameter，它是指数分布族唯一的参数
T(y) 被称作sufficient statistic，很多情况下T(y)=y a(η) 被称作 log partition function
T函数、a函数、b函数共同确定一种分布
接下来看一下为什么说正态分布（高斯分布）属于指数分布族：
正态分布（正态分布有两个参数μ均值与σ标准差，在做线性回归的时候，我们关心的是均值而标准差不影响模型的学习与参数θ的选择，因此这里将σ设为1便于计算）

2.构成广义线性模型的三个假设

p(y | x; θ) ∼ ExponentialFamily(η). 输出变量基于输入变量的条件概率分布服从指数分布族

• our goal is to predict the expected value of T(y) given x. 对于给定的输入变量x，学习的目标是预测T(y)的期望值，T(y)经常就是y

• The natural parameter η and the inputs x are related linearly: η = θT x. η和输入变量x的关联是线性的：η = θT x

这三个假设其实指明了如何从输入变量映射到输出变量与概率模型，举例来说：线性回归的条件概率分布为正态分布属于指数分布族（参考笔记一中线性回归的似然函数部分）；我们的目标是预测T(y)的期望，由上面的计算我们知道T(y)=y，而y的期望值也就是正态分布的参数μ；由上面的计算我们知道μ=η，而η=θT x。因此，线性回归是广义线性回归的一个特例，它的模型是：

经典线性回归：预测值y是连续的，假设给定x和参数，y的概率分布服从高斯分布（对应构建GLM的第一条假设）。 逻辑回归：以二分类为例，预测值y是二值的{1,0}，假设给定x和参数，y的概率分布服从伯努利分布（对应构建GLM的第一条假设）。

通过这样学习到GLM模型的建立。

1. C++标准模板库从入门到精通 

http://edu.csdn.net/course/detail/3324

2.跟老菜鸟学C++

http://edu.csdn.net/course/detail/2901

3. 跟老菜鸟学python

http://edu.csdn.net/course/detail/2592

4. 在VC2015里学会使用tinyxml库

http://edu.csdn.net/course/detail/2590

5. 在Windows下SVN的版本管理与实战 

 http://edu.csdn.net/course/detail/2579

6.Visual Studio 2015开发C++程序的基本使用 

http://edu.csdn.net/course/detail/2570

7.在VC2015里使用protobuf协议

http://edu.csdn.net/course/detail/2582

8.在VC2015里学会使用MySQL数据库

http://edu.csdn.net/course/detail/2672