从线性判别分析(LDA)来理解线性分类(linear classifiers)和概率模型(probabilistic modeling)

首先什么是线性分类

我们最常见的线性分类器逻辑回归(logistics regression)和支持向量机(support vector machine),逻辑回归的思想就是通过数据集找到一条决策边界(decision boundary)能将数据分割开来,他的损失函数就是对数损失,而他的格式又对应于相应的极大似然估计的推断,和概率已经不自觉的挂上钩了。而支持向量机本质上也是找到一条决策边界来分离数据,只不过他的决策边界用概率论里面的话来讲就是,具有一定的置信度来保证这是一条最好的分界线。

概率模型

y是数据类别,x有纬度,u代表概率密度
假设他们是基于同方差 Σ的概率模型,服从高斯分布,y是数据类别,x有纬度,u代表类别为y(x)的x的概率密度。所以根据贝叶斯公式(如忘记可以自行百度,很简单)
从线性判别分析(LDA)来理解线性分类(linear classifiers)和概率模型(probabilistic modeling)_第1张图片
P(Y =1|X =x)是类别为1的概率,A式就是前面公式通过贝叶斯公式推导得来的,由A式推导B式,是通过分母的全概率公式(如忘记自行百度)。B式得到C式,是通过分子归一化得到的。

有没有发现C式很眼熟,对!他和我们学过的逻辑回归的概率公式很相似

在这里插入图片描述
结合C式我们将得到下面这个公式
从线性判别分析(LDA)来理解线性分类(linear classifiers)和概率模型(probabilistic modeling)_第2张图片
而且因为μX|Y=y 概率密度共方差Σ所以得出以下推导
从线性判别分析(LDA)来理解线性分类(linear classifiers)和概率模型(probabilistic modeling)_第3张图片
有没有发现上式最终的结果和,逻辑回归是一样的,只不过w和b的形式更复杂而已
从线性判别分析(LDA)来理解线性分类(linear classifiers)和概率模型(probabilistic modeling)_第4张图片
而因为在这里插入图片描述
正好当x为正类和为反类的概率和为1
所以我们可以进行下面的假设:
在这里插入图片描述
从线性判别分析(LDA)来理解线性分类(linear classifiers)和概率模型(probabilistic modeling)_第5张图片
最终要最小化的损失函数为下图:
从线性判别分析(LDA)来理解线性分类(linear classifiers)和概率模型(probabilistic modeling)_第6张图片
[1]: http://meta.math.stackexchange.com/questions/5020/mathjax-basic-tutorial-and-quick-reference
[2]: https://mermaidjs.github.io/
[3]: https://mermaidjs.github.io/
[4]: http://adrai.github.io/flowchart.js/

你可能感兴趣的:(机器学习,人工智能,逻辑回归,概率模型,线性判别分析)