AI —— Bayes Rule

重点一、Bayes’ Rule 贝叶斯法则
P(a | b) P(b) = P(a, b) = P(b | a) P(a)
P(a | b) = P(b | a) P(a)/P(b)

基础概率论知识
全概率公式==》由条件推结论

贝叶斯公式==》由结论去判断条件

重点二、条件独立
绝对独立:

P(x,y) = P(x)P(y)
P(x|y) = P(x)  or  P(y|x) = P(y)

由联合概率公式的链式法则,可以简化条件独立下的链式法则

P(G, C1,1 , … C3,3) = P(G) P(C1,1 | G) P(C1,2 | G) P(C1,3 | G) …
P(C3,3 | G)

条件独立性是我们关于不确定环境的最基本和最强大的知识形式。
Conditional independence is our most basic and robust form of knowledge about uncertain environments.

X is conditionally independent of Y given Z if and only if:
(在给定Z的条件下,X与Y是独立的当且仅当:)
∀ x,y,z
P(x | y, z) = P(x | z)
or, equivalently, if and only if
∀x,y,z
P(x, y | z) = P(x | z) P(y | z)

【注意】:
| 进行分割,前后均为整体,,存在部分为一个整体

重点三、贝叶斯网络 Bayes nets
Bayes nets: a technique for describing complex joint distributions (models) using simple, conditional distributions
贝叶斯网:一种用简单的条件分布描述复杂联合分布(模型)的技术

Bayes net = Topology (graph) + Local Conditional Probabilities
贝叶斯网=拓扑(图)+局部条件概率

Use local causality/conditional independence
使用局部因果关系/条件独立
Example of Bayes’ Net——Car Insurance:
AI —— Bayes Rule_第1张图片
题型:利用贝叶斯网络计算条件概率
公式一:P(X1,…,Xn) = ∏i P(Xi | Parents(Xi))
关于其父节点的条件概率作累乘
精髓:从原始的条件概率的链式法则转化而来,结合条件独立的前提,利用贝叶斯网络进行求解,贝叶斯网=拓扑(图)+局部条件概率
EXAMPLE:
题目中的条件概率分布表是已知的。AI —— Bayes Rule_第2张图片
【注意】:
A:大写的字母表示随机变量,即事件;
B:小写的字母表示实数,即事件发生的取值

重点四:利用贝叶斯网络进行精准推理
Bayes Nets: Exact Inference
Inference by Enumeration in Bayes Net
贝叶斯网络中的枚举推理
公式二: P(Q | e) =ɑ ∑h P(Q , h, e)
【举例】:
AI —— Bayes Rule_第3张图片
P(B | j, m) = α ∑e,a P(B, e, a, j, m)
= α ∑e,a P(B) P(e)P(a|B,e)P(j|a) P(m|a)

精髓:根据已知的条件,将其他的所有变量全部补齐,然后作条件概率的累加
注意虽然这里的变量是小写(公式里全部自己补的都是小写),但还是所有的情况都要考虑,相当于大写字母,表示事件,所有的情况都要考虑到,真假都要计算,然后进行累加,然后利用上述公式一进行计算

题型:利用贝叶斯推理,计算条件概率
分两步走:先乘法+再累加
题:Query P(B | j,m)
解:① Choose A
把所有含A 的条件全部选择出来,前面的依旧在前面,后面的依旧在后面。
AI —— Bayes Rule_第4张图片
②choose E
(同理)
AI —— Bayes Rule_第5张图片
③ finish with B 并进行normalize
(同理)
AI —— Bayes Rule_第6张图片
整个操作都是根据公式二进行的,变量的选取顺序没有关系。

你可能感兴趣的:(人工智能,人工智能,概率论,机器学习)