前面介绍的kNN和决策树都给出了“该数据实例属于哪一类”这类问题的明确答案,而有时候的分类并不能给出明确的答案,本节讲解使用概率论进行分类的方法。
1:简单概念描述
概念比较简单,这里我摘抄自百度百科,很容易理解。
朴素贝叶斯模型(NaiveBayesian classification)):
—-
Vmap=arg max P( Vj | a1,a2…an)
Vj属于V集合
其中Vmap是给定一个example,得到的最可能的目标值.
其中a1…an是这个example里面的属性.
这里面,Vmap目标值,就是后面计算得出的概率最大的一个.所以用max来表示
—-
贝叶斯公式应用到 P(Vj | a1,a2…an)中.
可得到Vmap= arg max P(a1,a2…an | Vj ) P( Vj ) / P (a1,a2…an)
又因为朴素贝叶斯分类器默认a1…an他们互相独立的.
所以P(a1,a2…an)对于结果没有用处. [因为所有的概率都要除同一个东西之后再比较大小,最后结果也似乎影响不大]
可得到Vmap=arg max P(a1,a2…an | Vj ) P( Vj )
然后
“朴素贝叶斯分类器基于一个简单的假定:给定目标值时属性之间相互条件独立。换言之。该假定说明给定实例的目标值情况下。观察到联合的a1,a2…an的概率正好是对每个单独属性的概率乘积: P(a1,a2…an | Vj ) =Πi P( ai| Vj )
….
朴素贝叶斯分类器:Vnb=arg max P( Vj ) Π i P ( ai | Vj )
其中a1,a2…an为特征值,Vj为分类的结果。这也体现了贝叶斯决策理论的核心思想,即选择具有最高概率的决策。它是文档分类的常用算法。
欢迎转载或分享,但请务必声明文章出处。 (新浪微博:小村长zack, 欢迎交流!)