Classification 之 Logistic Regression

假设我们有两个Class， 我们需要能从training data中来估算 概率。
首先我们要理解贝叶斯定理，然后从这个公式中 Generative Model

QQ截图20180816151347.png

Prior probability 这里是一个二元分类问题
假设我们从sample里选择 id<400的来做training data，剩下的做testing data，从第一个class中选取一个的机率是如下图，从第二个class中选取一个的机率是如下图，有79个水系的，61个普通的。

QQ截图20180816151347.png

假设我们估算一个training data 里没有出现过的点，那怎么办？会不会0，接下来我们会解释。
假设我们的79个水系的point 是从 高斯分布 里sample出来的，那么我们可以估算的那个没有出现的点不会是0？
不同的 u 和 E 代表不同的高斯分布

高斯.png

假设我们从高斯分布里取出79个点，根据这79个点我们可算出高斯分布的 u 和E，然后我们就可以估算那么没出现在这79个点中的点New x 从 这个高斯分布中sample出来的机率。
图中的黄色点表示 u 圆表示E，如果 newx 越靠近这个部分，说明它被sample出来的机率越大，反之亦然。

u.png

那我们如何找 u 跟 E呢？我们用 最大似然值。
其实这79个点我们可以用很多不同的高斯分布sample出来，但是不同的高斯分布sample这79个点的可能性是不一样的，因为sample79个点的 likelihood不一样。
给我一个高斯分布的 u 和 E ，我们就可以算出这79个点的机率，用下图的 公式来计算

likelihood.png

如果算出的likelihood是最大的，我们就说这个是sample出这79个点的高斯分布，记住是最大的likelihood

amx likelihood.png

然后我们在带入贝氏定理的公式里，就可以分类了，

classification.png

可以求出图中任意一个点是水系的或者是普通的机率，当机率大于0.5是水系的，当小于0.5是普通的，然后九可以把这个用在testing set上，如右下角的图

water or normal.png

但是准确率只有47%，因为我们只是用了2维的特征，但是我们如果用更高维的特征值，我们就会得出更高的准确率，，但是但是准确率提高的也不多，那怎么办呢？？？？？？？

我们可以假设79个点的高斯分布和61个点的高斯分布有相同的 E

same E.png

机率模型回顾

review model.png

接下来就是数学推导：

SIGMOID1.png

SIGMOID LINEAR.png

下一节课我们直接找sigmoid里面的参数 w 和 b