机器学习系列3:概率模型、朴素贝叶斯和sigmod函数推导

一、贝叶斯公式推导

1.条件概率

设是任意两个事件，已知发生的条件下，发生的条件概率为：

2.全概率公式

设为有限或无限个事件，他们两两互斥，即：

被称为一个完备事件群。
对于一个事件，可以得出：

因为两两互斥，所以也两两互斥，
由加法定理可知：

根据条件概率：,代入上式可得：

上式即为全概率公式。
全概率公式的意义在于，直接计算不容易的时候，可以通过构造一系列来简化计算。

3.贝叶斯公式

在全概率公式的基础上可推导得：

若把事件A的发生看成结果，事件看成原因，全概率公式可以看做是“由原因推结果”，被称为先验概率。
贝叶斯公式可以看成是“由结果推原因”，是后验概率，即A已经发生了，那么众多可能的原因中，到底是哪一个B导致了这个结果的发生。
在进一步介绍朴素贝叶斯之前，先简单介绍一下先验概率和后验概率。

二、先验概率

假设输入空间有一系列样本,标签
数据集可以表示成：
则其中的先验概率为：

这个概率值是通过统计得到的，即概率分布是已知的，被称为先验概率。

三、后验概率

已知的概率，
求的某种组合,为：

即为后验概率。
后验概率也是一种条件概率，但和一般的条件概率不同之处在于：
条件概率的条件和目标事件都是任意的；后验概率限定了目标事件和隐变量取值，其中的条件为观测结果，即后验概率是由果求因。
举一个例子：已知车祸有一定概率导致堵车，其中车祸是因，堵车是果。
即P(堵车）是先验概率（执因求果）；
P(车祸|堵车）是后验概率（由果求因）
先验和后验是相对的，如果以后还有新的信息引入，更新了现在所谓的后验概率，那么新的概率值即为后验概率。

四、朴素贝叶斯公式推导

朴素贝叶斯重要的先决条件是之间都是相互独立的。
即可得式4-1：

由贝叶斯公式可推得式4-2：

将式4-1代入式4-2可得式4-3：

式4-3即为朴素贝叶斯分类的基本公式
如果要确定某个样本x属于哪一类，则需要计算出归属不同类的概率，再从中挑选出概率的最大值。即朴素贝叶斯分类器可以表示为：

在上式中，分母对于所有的都是相同的，可以简化成：

五、逻辑回归的线性回归的区别

• 两者都是广义的线性模型（GLM）
• 线性回归的优化目标是最小二乘，而逻辑回归则是似然函数
• 线性回归的输出是实域上的连续值，而逻辑回归则被sigmod函数映射到了[0,1]，通过设置阈值被转换成分类类别。
• 线性回归期望拟合数据，通过feature的线性加权来预测； 逻辑回归是在训练一个最大似然分类器。

六、sigmod函数的推导

1.伯努利分布

一个事件x，其结果只有两种：x=1 or 0，比如抛硬币。
when ,
when ,
伯努利分布的概率质量函数为：

可以写成

2.指数族分布

如果一个分布能用以下的方式写出，就设这类分布属于指数族：

伯努利分布可以表示成：

可以发现，伯努利分布是指数族分布，其中：

3.sigmod函数的推导

标准的逻辑回归问题中，是二分类的，与伯努利分布类似。

上式即为sigmod函数的由来。
综上：若有一个样本空间，
那么
有
即为