机器学习经典算法

1.贝叶斯分类器

1.1简介

贝叶斯分类器是机器学习最经典的算法之一，贝叶斯算法是一种有监督学习算法，其理论基础是“贝叶斯定理”，该原理是由英国著名数学家托马斯·贝叶斯提出，贝叶斯定理是基于统计学和概率论相关知识实现的。贝叶斯分类器有着极其广泛的用途，例如广泛应用于情感分类，文本分类等分类任务。

1.2 基本概念

为了更好理解贝叶斯分类器原理，在理论推导之前理解几个基本概念。

先验概率：根据经验知识得的概率。

后验概率：某个事件发生是由某些因素引起的可能性大小。

条件概率公式：设有事件A,B,已知B的条件下发生的概率为P（A|B）,将A，B事件同时发生记为

P（A，B），有下列条件概率公式：

联合概率：联合概率指的是包含多个条件且所有条件同时成立的概率，记作P(X=a,Y=b)或P(a,b)，有的书上也习惯记作P(ab)，但是这种记法个人不太习惯，所以下文采用以逗号分隔的记法。

联合概率公式：

        (1) B1，B2....两两互斥，即 Bi ∩ Bj = ∅ ，i≠j ， i,j=1，2，....，且P(Bi)>0,i=1,2,....;
                (2) B1∪B2∪....=Ω ，则称事件组 B1,B2,...是样本空间Ω的一个划分。设 B1,B2,...是样本空间Ω的一个划分，A为任一事件，则：

上式即为全概率公式。

1.3贝叶斯定理

贝叶斯定理的发明者 托马斯·贝叶斯 提出了一个很有意思的假设：“如果一个袋子中共有 10 个球，分别是黑球和白球，但是我们不知道它们之间的比例是怎么样的，现在，仅通过摸出的球的颜色，是否能判断出袋子里面黑白球的比例？”

上述问题可能与我们高中时期所接受的的概率有所冲突，因为你所接触的概率问题可能是这样的：“一个袋子里面有 10 个球，其中 4 个黑球，6 个白球，如果你随机抓取一个球，那么是黑球的概率是多少？”毫无疑问，答案是 0.4。这个问题非常简单，因为我们事先知道了袋子里面黑球和白球的比例，所以很容易算出摸一个球的概率，但是在某些复杂情况下，我们无法得知“比例”，此时就引出了贝叶斯提出的问题。

在统计学中有两个较大的分支：一个是“频率”，另一个便是“贝叶斯”，它们都有各自庞大的知识体系，而“贝叶斯”主要利用了“相关性”一词。下面以通俗易懂的方式描述一下“贝叶斯定理”：通常，事件 A 在事件 B 发生的条件下与事件 B 在事件 A 发生的条件下，它们两者的概率并不相同，但是它们两者之间存在一定的相关性，并具有以下公式（称之为“贝叶斯公式”）：

1.4 贝叶斯公式的本质内涵

由因到果，由果推因
在现实中，我们可以把事件A看作结果，把事件B1,B2,...,Bn看作导致这个结果的各种原因。那么，我们所介绍的全概率公式
P(A)=P(B1)P(A|B1)+P(B2)P(A|B2)+...+P(Bn)P(A|Bn)
就是由各种原因推理出结果事件发生的概率，是由因到果。
但是，实际上还存在着一类重要的应用场景：我们在日常生活中常常是观察到某种现象，然后去反推造成这种现象的各种原因的概率。简单来说，就是由果推因。
 

持续更新中