吴恩达机器学习笔记——指数分布族&广义线性模型&逻辑回归概率模型推导

此文章解释指数分布族，广义重点内容线性模型，以及逻辑回归的概率解释推导。

1.指数分布族

指数分布族即为指数形式的概率分布：

其中，T(y)为充分统计量，tau为自然参数。

大多数的概率分布都可以转化为指数分布模型，下文会有例子。

2.广义线性模型

广义线性模型通过指数分布族来引出。

广义线性模型有三个假设：

(1) y|x;θ ExponentialFamily（η）；给定样本x与参数θ，样本分类y 服从指数分布族中的某个分布； (2) 给定一个 x，我们需要的目标函数为hθ(x)=E[T(y)|x];
(3)η=θTx。

3.逻辑回归概率模型推导

逻辑回归用于对事情进行二分类，则可以用伯努利分布（0,1）分布来进行建模。

公式推导如下图所示：