从朴素贝叶斯的角度推导logistic模型

带入贝叶斯公式，原式变为：

在具体应用中P(Yk|X)就等于P(Y=ck|X=x),P(Yk)=P(Y=ck)。我们需要假设每个特征值xj是独立的，是互不影响的，才能够使P(X1=x1,X2=x2…Xj=xj|Y=ck)=P(X1=x1|Y=ck)P(X2=x2|Y=ck)…P(Xj=xj|Y=ck)P(Y=ck)成立。这是一个妥协的假设，为了使计算方便，但是特征值很多时候都不是独立的，比如一个特征值是是否下雨，一个特征值是是否刮风，标签Y是是否出去玩，一般刮风都会伴随着下雨，二者不是独立的，如果这个假设成立，那么特征值的协方差矩阵必须是对角矩阵，这个概率还是比较低的。总结一下就是朴素贝叶斯算法就是假设特征值互相独立的贝叶斯算法。
在实际应用中，我们只需要知道先验概率P(Y=ck)和P(Xj=xj|Y=ck)便可以用：

进行朴素贝叶斯估计，选择使y最大的ck类作为所分的类别。朴素贝叶斯算法是一个典型的生成分类算法。
更加具体的朴素贝叶斯算法细节就不展开了，详细算法可以参见李航博士的《统计学习方法》第二版第四章。
2.logistic模型简介
logistic 回归又叫对数几率回归，适合数值型的二值型输出的拟合，它其实是一个分类模型，比如根据患者的医疗数据判断它是否能被治愈。
我们考虑1个输入的n维数据X=(x1,x2,x3…xn)，我们对输入数据进行线性加权得到:

前面说到，logistic回归用于分类，假设得到的类别为0或者1，那么可以使用sigmoid函数处理输入，这个函数类似于阶跃函数但是又是连续型函数，看下这个函数长什么样:

sigmoid(x)表征输入数据x归属于1类的概率。
当x<0时，sigmoid(x)<0.5,可以说x归属于0类的概率比较大;
当x>0时，sigmoid(x)>0.5,可以说x归属于1类的概率比较大；
将g(x)作为sigmoid函数的输入可以得到：

这样就得到了输入数据x最终属于类别 1 的概率。
在logistic回归中，我们一般考虑使用交叉熵作为损失函数，因为采用均方差作为损失函数在梯度下降过程中，当sigmoid(x)趋近于0或1时梯度趋近于0，导致算法收敛极慢，也就是梯度消失问题。
对f(x)做一个简单的变换：

将f(x)作为类后验估计P(y=1|x)（注意注意！！！，这个条件是不加证明给出的，应该很多同学都困惑过，为什么经过一个sigmoid函数后就变成概率了，本文第三部分内容就是从朴素贝叶斯的角度对此条件加以证明。）,上式可写为：

那么从而可以得到：

合并上式得到似然函数：

带入数据可得似然函数为：

m是这组数据集的样本数量。
然后我们的目标是求出使这一似然函数的值最大的参数估计，最大似然估计就是求出参数w0,w1,w2…wn，n代表特征值向量是n维的。使得上式取得最大值，需要用到梯度下降算法，连乘不好求梯度，取ln将连乘变为求和：

对上式取负号然后采用梯度下降法求最小值便可以得到参数向量，logistic回归模型就训练完毕了。
3.从朴素贝叶斯的角度解释为什么logistic模型的sigmoid函数可以表示概率
在推导之前，我们假设自己是贝叶斯学派的一员了啊，假设数据连续，且每一维x服从高斯分布，原谅我是个数学渣渣，只对经常用的模型熟悉，之前做卡尔曼滤波和拓展卡尔曼滤波算法时对高斯分布用的太多了，因为卡尔曼滤波黄金五公式推导的基础就是假设带噪声的信号服从高斯分布，这样说老祖卡尔曼也是贝叶斯学派的一员咯。扯远了，拉回来！好了，既然每一维特征值x满足高斯分布，那么假设：

Y服从伯努利分布，即0~1分布，则根据朴素贝叶斯得到：

分子分母同除以分子可得：

对分母后面一部分取ln可得：

其中：

化简可得：

由于假设Y满足伯努利分布，可令P(Y=1)=φ得到：

化简可得：

其中：


由此从朴素贝叶斯中推导出了logistic模型。以上！