【人工智能】不确定性推理(QDU)

转载请务必经过我的同意
  • 【人工智能】不确定性推理(QDU)
  • 【人工智能】传统机器学习算法(QDU)
  • 【人工智能】非线性分类器(QDU)
  • 【人工智能】机器学习基础(QDU)
  • 【人工智能】深度学习(QDU)

不确定性推理的基本概念

不确定性推理: 是从不确定性的初始证据出发,通过运用不确定性的知识,最终推出具有一定程度的不确定性但却合理或者近乎合理的结论的思维过程

举例:“医生通过病患发热、头痛等症状推断出病人感冒”,这就是种不确定性推理,病人所说的症状并不一定完全符合自身情况,医生根据症状的判断也并非能完全正确,因此最终的结论也具有不确定性的。

研究不确定性推理的意义: 正如上面的例子一样,生活中含有大量的不确定信息需要处理

不确定性推理的表示:

​ 证据不确定性的表示:”证据“相当于”条件“,证据的不确定性相当于条件的不确定程度

​ 结论不确定性的表示:如果”知识“和”证据“都是确定的话,根据知识可以由证据推出确定的结论,如果”知识“和”证据“不确定,则结论的不确定性的含义为结论的 不确定程度

​ 知识不确定性的表示:”知识“是一种关系,是”证据“与”结论“之间的一种推出关系,知识的不确定性的含义为这个关系的不确定程度。有时也称知识为规则

不确定性的量度: 既然涉及计算,就需要为抽象的”不确定性的程度“确定一种定量的表示方法。这就需要用不同的数据表示其不确定性的程度,同时还要事先规定它的取值范围。

计算问题概述:

  1. 不确定性的传递算法

    已知证据的不确定性程度对应值和知识的不确定性程度对应的值,如何计算结论的不确定性程度对应的值

    符号表示:已知 C(E),f(H,E),如何计算 C(H)。其中 E、H分别为证据和结论,C(E)、C(H)分别表示证据和结论的不确定性程度对应值,f(H,E)表示知识的不确定性程度对应值。下面类似

  2. 结论不确定性的合成

    已知多个证据根据不同的知识推出的同一个结论的若干不确定性程度对应的值,如何计算这些证据共同推出的结论不确定性程度对应的值

    符号表示:已知 C1(H),又得到 C2(H),如何确定 C(H)

  3. 组合证据的不确定性算法

    已知多个证据的不确定性程度对应的值,如何计算这些证据经过析取或合取后的不确定性程度对应的值

    典型方法:最大最小法,概率方法,有界方法

    符号表示:如何由 C(E1),C(E2),计算 C(E1∨E2),C(E1∧E2)

基于可信度的不确定推理方法

可信度(Certainty Factor)的概念: 可信度是指人们根据以往经验对某个事物或现象为真的程度的一个判断,或者说是人们对某个事物或现象为真的相信程度

CF模型

知识的不确定性表示:

在CF模型中,知识是用产生式规则表示的,其一般形式为:
I F      E      T H E N      H (   C F ( H , E )   ) IF \space\space\space\space E \space\space\space\space THEN \space\space\space\space H (\space CF(H, E)\space ) IF    E    THEN    H( CF(H,E) )

  • E是知识的前提条件,即证据
  • H是知识的结论
  • CF(H,E)是知识的可信度,称为可信度因子或规则强度或知识强度,表示当前提条件E所对应的证据为真时,它对结论H为真的支持程度
  • 若由于相应证据的出现增加结论H为真的可能性,则CF(H,E)>0,证据的出现越是支持H为真,就使CF(H,E)的值越大;反之,CF(H,E)<0,证据出现越是支持H为假,CF(H,E)的值就越小;若CF(H,E)=0,表示证据和结论没有关系
  • CF(H,E)是根据经验对一个事物或现象为真的可信程度的度量,它描述的是知识的静态强度
  • CF(H,E)取值为:[-1,1]

例如:

IF 发烧 AND 流鼻涕 THEN 感冒 (0.8)

表示当某人确实有“发烧”及“流鼻涕”症状时,则有80%的把握是患了感冒。


知识可信度(即CF)的定义:
C F ( H , E ) = M B ( H , E ) − M D ( H , E ) CF(H,E)=MB(H,E)-MD(H,E) CF(H,E)=MB(H,E)MD(H,E)

  • MB(Measure Belief):信任增长度,它表示因为与前提条件E匹配的证据的出现,使结论H为真的信任增长度。
  • MD(Measure Disbelief):不信任增长度,它表示因为与前提条件E匹配的证据的出现,对结论H的不信任增长度。

MB、MD由条件概率和先验概率定义:

MB的定义:
M B ( H , E ) = { 1 i f    P ( H ) = 1 m a x { P ( H ∣ E ) , P ( H ) } – P ( H ) 1 − P ( H ) e l s e MB(H,E)=\begin{cases} 1 & & if\space\space P(H)=1 \\ \frac{max\{P(H|E), P(H)\} – P(H)}{1-P(H)} & & else \\ \end{cases} MB(H,E)={11P(H)max{P(HE),P(H)}P(H)if  P(H)=1else
MD的定义:
M D ( H , E ) = { 1 i f    P ( H ) = 0 m i n { P ( H ∣ E ) , P ( H ) } – P ( H ) − P ( H ) e l s e MD(H,E)= \begin{cases} 1 & & if\space\space P(H)=0 \\ \frac{min\{P(H|E), P(H)\} – P(H)}{-P(H)} & & else \\ \end{cases} MD(H,E)={1P(H)min{P(HE),P(H)}P(H)if  P(H)=0else
其中,P(H)为H的先验概率,P(H|E)表示在前提条件E所对应的证据出现的情况下,结论H的条件概率。

MB与MD的性质:

  • 互斥律:一条证据不可能既支持又不支持某一假设,即:

    下面的结论其实均源于互斥律,互斥律可以理解为MB和MD是对立的,如果存在只能存在一个。

    • 如果MB(H, E) > 0,那么MD(H, E) = 0.

      如果MD(H, E) > 0,那么MB(H, E) = 0.

    • P(H|E) > P(H)时,即MB(H, E) > 0,说明由于E所对应的证据的出现增加了H的信任程度,但不信任程度没有变化,即MD(H, E) = 0,可以理解为E的出现增加了H为真的概率,增加了H为真的可信度

      P(H|E) < P(H)时,即MD(H, E) > 0,说明由于E所对应的证据的出现增加了H的不信任程度,但信任程度没有变化,即MB(H, E) = 0,可以理解为E的出现减少了H为真的概率,增加了H为假的可信度

    • 当P(H|E) = P(H)时,根据公式P(H|E)×P(E) = P(H, E)可知P(H)P(E) = P(H,E),即证据E和结论H相互独立,此时MD(H, E) = MB(H, E) = 0,可以理解为即E的出现对H没有影响

  • 对H的信任增长度等于对非H的不信任增长度

    即:MB(H,E) = MD(~H,E)

    可以理解为对H为真信任增长度等于对H为假的不信任增长度

  • 对H的可信度与对非H的可信度之和为0

    即 CF(H,E) + CF(~H,E) = 0

    可以通过上面的性质代入CF的定义式中推出CF(H,E) + CF(~H,E) = 0

    概率满足:P(H) + P(~H) = 1 且 0 ≤ P(H),P(~H) ≤1

    因此可以判断:可信度不是概率!


证据的不确定性表示:

证据的不确定性也用CF来表示,它描述的是证据的动态强度。

  • 知识的静态强度CF(H,E)表示规则强度,即当E所对应的证据为真对H的影响程度;
  • 证据的动态强度CF(E)表示证据E当前的不确定程度。

CF值的来源分两种情况:

  • 初始证据:由提供证据的用户给出
  • 以前的结论作为新证据:由传递算法推出

证据的CF取值范围:[-1,1]

  • E肯定为真时:CF(E)=1
  • E肯定为假时:CF(E)= -1
  • 对E一无所知时:CF(E)=0
  • CF(E)>0表示E以CF(E)为真
  • CF(E)<0表示E以CF(E)为假

组合证据的不确定性算法:

最大最小方法中:

组合证据多个单一证据的合取

E = E1 AND E2 AND …… AND En 则 CF(E)=min{CF(E1),CF(E2),……,CF(En)}

组合证据是多个单一证据的析取

E = E1 OR E2 OR …… OR En 则 CF(E)=max{CF(E1),CF(E2),……,CF(En)}

概率方法中:

​ C(E1∧E2) = C(E1) · C(E2)

​ C(E1∨E2) = C(E1) + C(E2) - C(E1) · C(E2)

有界方法中:

​ C(E1∧E2) = max{0, C(E1)+C(E2) - 1}

​ C(E1∨E2) = min{1, C(E1)+C(E2)}

不确定性的传递算法:

CF模型中的不确定性推理:从不确定的初始证据出发,通过运用相关的不确定性知识,最终推出结论并求出结论的可信度值,结论H的可信度可由下式计算

CFi(H) = CF(H,Ei) * max{0, CF(Ei)}

结论不确定性的合成算法:

一般步骤:(以两条知识推出同一个结论为例)

① 通过公式 CFi(H) = CF(H,Ei) * max{0, CF(Ei)} 分别求出每条知识对应的CF,即CF1(H)和CF2(H)

② 通过下面的公式,由CF1(H)和CF2(H)计算出CF1,2(H),CF1,2(H)即为所需
C F 1 , 2 ( H ) = { C F 1 ( H ) + C F 2 ( H ) − C F 1 ( H ) ∗ C F 2 ( H ) , C F 1 ( H ) ≥ 0 , C F 2 ( H ) ≥ 0 C F 1 ( H ) + C F 2 ( H ) + C F 1 ( H ) ∗ C F 2 ( H ) , C F 1 ( H ) < 0 , C F 2 ( H ) < 0 C F 1 ( H ) + C F 2 ( H ) 1 − m i n { ∣ C F 1 ( H ) ∣ , ∣ C F 2 ( H ) ∣ } , C F 1 ( H )     与     C F 2 ( H )   异 号 \textcolor{red} { CF_{1,2}(H)= \begin{cases} CF_1(H) + CF_2(H) - CF_1(H) * CF_2(H) & & , & CF_1(H) ≥ 0 , CF_2(H) ≥ 0 & \\ CF_1(H) + CF_2(H) + CF_1(H) * CF_2(H) & & , & CF_1(H) < 0 , CF_2(H) < 0 & \\ \frac{ CF_1(H) + CF_2(H) }{1-min\{|CF_1(H)|, |CF_2(H)|\}} & & , & CF_1(H) \space\space\space与\space\space\space CF_2(H)\space 异号 & \\ \end{cases} } CF1,2(H)=CF1(H)+CF2(H)CF1(H)CF2(H)CF1(H)+CF2(H)+CF1(H)CF2(H)1min{CF1(H),CF2(H)}CF1(H)+CF2(H),,,CF1(H)0,CF2(H)0CF1(H)<0,CF2(H)<0CF1(H)      CF2(H) 
注意:当多于两条知识时,可以先将知识1和知识2合并再依次合并3、4、……

标红的三个公式是计算的重点!!!

例题1:

设有如下一组规则:
r 1 : A 1 → B 1          C F ( B 1 , A 1 ) = 0.8 r 2 : A 2 → B 1          C F ( B 1 , A 2 ) = 0.5 r 3 : B 1 ∧ A 3 → B 2          C F ( B 2 , B 1 ∧ A 3 ) = 0.8 r1:A_1 → B_1 \space\space\space\space\space\space\space\space CF(B_1, A_1)=0.8 \\ r2: A_2 → B_1 \space\space\space\space\space\space\space\space CF(B_1, A_2)=0.5 \\ r3: B_1∧A_3 → B_2 \space\space\space\space\space\space\space\space CF(B_2, B_1∧A_3)=0.8 r1A1B1        CF(B1,A1)=0.8r2:A2B1        CF(B1,A2)=0.5r3:B1A3B2        CF(B2,B1A3)=0.8
初始证据 A 1 A_1 A1 A 2 A_2 A2 A 3 A_3 A3的CF值均设为1,而初始未知证据 B 1 B_1 B1 B 2 B_2 B2的CF值为0,即对 B 1 B_1 B1 B 2 B_2 B2是一无所知的。

求:CF(B1),CF(B2)的更新值

解答:

CF1(B1) = CF(B1,A1) × max{0, CF(A1)} = 0.8 × 1 = 0.8

CF2(B1) = CF(B1,A2) × max{0, CF(A2)} = 0.5 × 1 = 0.5

因为两者均 >0,所以

CF(B1) = CF1(B1) + CF2(B1) - CF1(B1) × CF2(B1) = 0.8 + 0.5 - 0.8 × 0.5 = 0.9

令 E = B1 ∧ A3, 则CF(E) = min{CF(B1), CF(A3)} = 0.9

可得 CF(B2) = CF(B2,E) × max{0, CF(E)} = 0.8 × 0.9 = 0.72

例题2:

设有如下一组知识:

R 1 :    I F          E 1                                                 T H E N          H (   0.8   ) R1: \space\space IF \space\space\space\space\space\space\space\space E_1 \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space THEN \space\space\space\space\space\space\space\space H (\space0.8\space) \\ R1:  IF        E1                                               THEN        H( 0.8 )

R 2 :    I F          E 2                                                 T H E N          H (   0.6   ) R2: \space\space IF \space\space\space\space\space\space\space\space E_2 \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space THEN \space\space\space\space\space\space\space\space H (\space0.6\space) \\ R2:  IF        E2                                               THEN        H( 0.6 )

R 3 :    I F          E 3                                                 T H E N          H ( − 0.5   ) R3: \space\space IF \space\space\space\space\space\space\space\space E_3 \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space THEN \space\space\space\space\space\space\space\space H (-0.5\space) \\ R3:  IF        E3                                               THEN        H(0.5 )

R 4 :    I F          E 4    A N D    (   E 5    O R    E 6   )          T H E N          E 1 (   0.7   ) R4: \space\space IF \space\space\space\space\space\space\space\space E_4 \space\space AND \space\space(\space E_5 \space\space OR \space\space E_6 \space) \space\space\space\space\space\space\space\space THEN \space\space\space\space\space\space\space\space E_1(\space0.7\space) \\ R4:  IF        E4  AND  ( E5  OR  E6 )        THEN        E1( 0.7 )

R 5 :    I F          E 7    A N D    E 8                              T H E N          E 3 (   0.9   ) R5: \space\space IF \space\space\space\space\space\space\space\space E_7 \space \space AND \space\space E_8 \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space THEN \space\space\space\space\space\space\space\space E_3(\space 0.9\space) \\ R5:  IF        E7  AND  E8                            THEN        E3( 0.9 )

已知:CF(E2) = 0.8,CF(E4) = 0.5,CF(E5) = 0.6,CF(E6) = 0.7,CF(E7) = 0.6,CF(E8) = 0.9

求:CF(H)

解答:

欲求解CF(H),即求解CF1,2,3(H),需要先求解CF1(H)、CF2(H)和CF3(H)

其中CF(H,E1)、CF(H,E2)、CF(H,E3)和CF(E2)已知,因此CF2(H)可以通过公式 CFi(H) = CF(H,Ei) * max{0, CF(Ei)} 得到,CF2(H) = 0.6 × max{0,CF(E2)} = 0.48

欲求CF1(H)和CF3(H)必须先求CF(E1)和CF(E3):

由R4得到:CF(E1) = 0.7 × max{0,CF(E4∧(E5∨E6)]} = 0.7 × max{0,min{CF(E4),max{CF(E5),CF(E6)}}} = 0.35

由R5得到:CF(E3) = 0.9 × max{0,CF(E7∧E8)} = 0.9 × max{0,min{CF(E7),CF(E8)}} = 0.54

求得CF(E1) = 0.35,CF(E3) = 0.54

由R1得到:CF1(H) = 0.8 × max{0,CF(E1)} = 0.28

由R2得到:CF2(H) = 0.6 × max{0,CF(E2)} = 0.48

由R3得到:CF3(H) = 0.5 × max{0,CF(E3)} = -0.27

根据结论不确定性的合成算法:

CF1,2(H) = CF1(H) + CF2(H) - CF1(H) × CF2(H) = 0.63

CF1,2,3(H) = [CF1,2(H)+CF3(H)] / [1-min{|CF1,2(H)|,|CF3(H)|}] = 0.49

即最终的综合可信度为CF(H) = 0.49

思考:在求CF(H)时,变换结论不确定性合并算法中的计算顺序(即H1,H2,H3的组合顺序),结果不变

有关上述计算的小总结:

CF(H)与CFi(H)的区别:

  1. 当只有一个条件E能推出结论H时,不存在CFi(H)之说
  2. 若存在 i (i>1)个条件能推出结论H时,记条件分别为 E1、E2、……、Ei,CF(H) = CF1,2,……,i(H);而CF1,2,……,i(H)的求得要通过重复”结论不确定性的合成算法“

CF模型题目

在如图所示的推理网络中,A、B、E为确定性证据,网络中弧上的数据表示对应的CF值,如CF(C, A)=0.8,CF(F, E)=-0.3,求基于证据A、B、E的结论F的CF值。

【人工智能】不确定性推理(QDU)_第1张图片

首先明确已知和待求。

已知:

​ 图中显示的信息:CF(C,A)=0.8,CF(C,B)=0.5,CF(D,C)=0.7,CF(F,D)=0.9,CF(F,E)=-0.3

​ 题目文字的信息:因为A、B、E为确定性证据,因此CF(A) = CF(B) = CF(E) = 1

待求:

​ “求基于证据A、B、E的结论F的CF值”,即求CF(F) = CFA,B,E(F)

思考过程:

​ 知识(规则)的可信度都是已知的,下面的思考就不再考虑计算知识(规则)的可信度了。

​ 既然要求CF(F),那么就要先求F的证据的可信度,即CF(E)和CF(D),CF(E)是已知的,因此只需求CF(D)。

​ D既是F的证据也是C的结论,因此可以使用“证据结论传递算法”通过证据C求解结论D的可信度。

​ 但是CF©同样未知,也就无法求解CF(D),因此需要先通过证据A、B求解出结论C的可信度,进而求解D的可信度。

​ A、B的可信度是已知的,CF(A) = CF(B) = 1。

​ 这样就可以通过A、B计算出CF©,进而计算CF(D),最后通过CF(D)和CF(E)计算出CF(F)。

计算过程:

​ ∵ CFA(C) = CF(C, A) × max{0, CF(A)} = 0.8 (不确定性的传递算法)

​ CFB(C) = CF(C, B) × max{0, CF(B)} = 0.5 (不确定性的传递算法)

又∵CFA(C) > 0, CFB(C) > 0

​ ∴CF(C) = CFA,B(C) = CFA(C) + CFB(C) - CFA(C) × CFB(C) = 0.9 (结论不确定性的合成算法)

​ ∴CF(D) = CF(D, C) × max{0, CF(C)} = 0.63 (不确定性的传递算法)

​ ∴CFD(F) = CF(F, D) × max{0, CF(D)} = 0.567 (不确定性的传递算法)

​ ∵CF(F,E) = -0.3, CF(E) = 1

​ ∴CFE(F) = CF(F, E) × max{0, CF(E)} = -0.3 (不确定性的传递算法)

​ ∵CFD(F) > 0, CFE(F) < 0

​ ∴CF(F) = CFD,E(F) = CFA,B,E(F) = (CFD(F) + CFE(F) ) / (1 - min{|CFD(F) | , |CFE(F) |}) ≈ 0.38 (结论不确定性的合成算法)

基于主观贝叶斯方法的不确定推理方法

客观Bayes与主观Bayes的区别:

  1. 客观Bayes中先验概率的计算是客观的,是基于分布的,客观性较强;而主观Bayes中先验概率的计算是主观的,不同的先验概率往往导出不同的结果。
  2. 用做题(应试)的思想去理解的话,客观Bayes中的条件(证据)事件的真假性与其他事件无关;而主观Bayes中的条件(证据)事件的真假性可能受其他事件的影响。(具体下面会讲到)

前置知识:

  • 先验概率

    • 定义:

      直观理解,所谓“先”,就是在事情之前,即在事情发生之前事情发生的概率。是根据以往经验和分析得到的概率。

    • 举例:

      比如抛硬币,我们都认为正面朝上的概率是0.5,这就是一种先验概率,在抛硬币前,我们只有常识。这个时候事情还没发生,我们进行概率判断。所谓的先验概率是对事情发生可能性猜测的数学表示。

  • 后验概率

    • 定义:

      事情已经发生了,事情发生可能有很多原因,判断事情发生时由哪个原因引起的概率。

    • 举例:

      比如今天你没去学校,原因有两个,可能是生病了,也可能是自行车坏了。然后上课时老师发现你没来。(这里是一个结果,就是你没来学校这件事情已经发生了)老师叫学霸计算一下概率,分别是因为生病了没来学校的概率和自行车坏了没来学校的概率。

      很显然,后验概率就是在事情发生后判断由哪一个原因引起的概率。这里的事情是你上学迟到,原因有生病了和自行车坏了。

  • 贝叶斯公式
    P ( A ∣ B ) = P ( A B ) P ( B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A|B) = \frac{P(AB)}{P(B)} = \frac{P(B|A)P(A)}{P(B)} P(AB)=P(B)P(AB)=P(B)P(BA)P(A)
    P(A) 是 A 的先验概率,之所以称为“先验”是因为它不考虑任何 B 方面的因素

    P(A|B) 是已知 B 发生后 A 的条件概率,也由于得自 B 的取值而被称作 A 的后验概率。

    P(B|A) 是已知 A 发生后 B 的条件概率,也由于得自 A 的取值而被称作 B 的后验概率。

主观贝叶斯方法

主观贝叶斯的基本思想:

主观贝叶斯方法推理的任务就是根据证据E的概率P(E)及LS,LN的值,把H的先验概率P(H) ,更新为后验概率 P(H|E) 或 P(H|¬E),即:
P ( H ) → L S , L N P ( E ) P ( H ∣ E ) 或 P ( H ∣ ¬ E ) P(H) \xrightarrow[LS,LN]{P(E)} P(H|E)或P(H|¬E) P(H)P(E) LS,LNP(HE)P(H¬E)
这样计算的目的就是看E对最终结论H的影响。

几率函数:

P(x)表示x出现的可能性,1-P(x)表示x不出现的可能性
O ( x ) = P ( x ) 1 − P ( x ) P ( x ) = O ( x ) 1 + O ( x ) \textcolor{red} { O(x) = \frac{P(x)}{1-P(x)} \\ P(x) = \frac{O(x)}{1+O(x)} } O(x)=1P(x)P(x)P(x)=1+O(x)O(x)
P(x) : [0,1];O(x) : [0,+∞)

知识的不确定性表示:

在主观Bayes方法中,知识用产生式规则表示:
i f      E      t h e n      (   L S , L N   )      H (   P ( H )   ) if \space\space\space\space E \space\space\space\space then \space\space\space\space (\space LS,LN\space)\space\space\space\space H (\space P(H) \space) if    E    then    ( LS,LN )    H( P(H) )
LS——充分性度量,表示E对H的支持程度,取值范围[0,+∞)

​ 定义为 L S = P ( E ∣ H ) P ( E ∣ ¬ H ) LS = \frac{P(E|H)}{P(E|¬H)} LS=P(E¬H)P(EH),其中P(E|H)表示“结论H发生的情况下,证据E发生的概率”,P(E|¬H)表示“结论H不发生的情况下,证据E发生的概率”

LN——是必要性度量:表示¬E对H的支持程度,取值范围[0,+∞)

​ 定义为 L N = P ( ¬ E ∣ H ) P ( ¬ E ∣ ¬ H ) LN = \frac{P(¬E|H)}{P(¬E|¬H)} LN=P(¬E¬H)P(¬EH),其中P(¬E|H)表示“结论H发生的情况,证据E不发生的概率”,P(¬E|¬H)表示“结论H不发生的情况下,证据E不发生的概率”

LS,LN相当于知识的静态强度。都是专家给出,预先设定的。应该说LS和LN是从肯定(支持)和否定(不支持)两个角度共同描述了证据对结论的影响。

LS及LN的性质:

  1. LS:反映E的出现对H为真的影响程度
    • 当LS>1时,说明E支持H,LS越大,E对H的支持越充分;
    • 当LS=1时,说明E对H没有影响
    • 当LS<1时,说明E不支持H
    • 当LS=0时,说明E的存在使H为假
  2. LN:反映当E不存在时对H为真的影响程度
    • 当LN>1时,说明¬E支持H,LN越大,支持越充分
    • 当LN=1时,说明¬E对H没有影响
    • 当LN<1时,说明¬E不支持H;LN越小,E的不出现就越反对H为真。
    • 当LN=0时,说明¬E的存在使H为假
  3. LS与LN的关系
    • LS>1 且 LN<1
    • LS<1 且 LN>1
    • LS = LN = 1

证据的不确定性表示:

证据分为两种,”确定的证据“和”不确定的证据“,本质上”确定的证据“是”不确定的证据“的一种特殊情况。主观贝叶斯方法是建立在“不确定的证据”之上的。

”确定的证据“又可以分为”证据肯定出现“和”证据肯定不出现“。

对于”确定的证据“不做过多解释,主要讲解”不确定的证据“的表示。

在实际应用中,证据肯定出现或肯定不出现的极端情况是不多的,更多的是介于两者之间的不确定情况,即无法肯定它一定存在或者一定不存在。这时H依赖于E,E又基于部分证据S(也称观察)。

对于观察S的理解:

例如:IF 发烧 THEN (200,0.1) 有炎症

S是现实中规则E的前件,假如S是某人现在体温是38度,P(E/S)=0.8则发烧的可能性是0.8

即存在如此关系:S ⇒ E ⇒ H

在主观贝叶斯方法中,证据的不确定性也是用其概率或几率表示的。概率与几率之间的关系为:
O ( E ) = P ( E ) 1 − P ( E ) = { 0 当 E 为 假 时 ∞ 当 E 为 真 时 ( 0 , ∞ ) 当 E 非 真 也 非 假 时 O(E) = \frac{P(E)}{1-P(E)} = \begin{cases} 0 && 当E为假时\\ ∞ && 当E为真时\\ (0,∞) &&当E非真也非假时\\ \end{cases} O(E)=1P(E)P(E)=0(0,)EEE
对于初始证据E,由用户根据观察S给出P(E|S),它相当于动态强度。

但由于动态强度P(E|S)的给出相当困难,因而在具体的应用系统中往往采用适当的变通方法,如在 PROSPECTOR 中引进了可信度的概念,让用户在 –5 至 5 之间的 11 个整数中选一个数作为初始证据的可信度。

可信度 C(E|S) 与 概率 P(E|S) 的对应关系如下:

  • C(E|S)=-5,表示在观察 S 下证据 E 肯定不出现,即 P(E|S)=0
  • C(E|S)=0,表示 S 与 E 无关,即 P(E|S)=P(E)
  • C(E|S)=5,表示在观察 S 下证据 E 肯定出现,即 P(E|S)=1
  • C(E|S)=其它数值时,与 P(E|S) 的对应关系可通过对上述三点进行分段线性插值得到

插值后如下图:

【人工智能】不确定性推理(QDU)_第2张图片

由上图可得到 C(E|S) 与 P(E|S) 的关系式:
P ( E ∣ S ) = { P ( E ) 5 × ( 5 + C ( E ∣ S ) ) − 5 ≤ C ( E ∣ S ) < 0 1 − P ( E ) 5 × C ( E ∣ S ) + P ( E ) 0 ≤ C ( E ∣ S ) ≤ 5 \textcolor{red} { P(E|S) = \begin{cases} \frac{P(E)}{5}×(5+C(E|S)) && -5≤C(E|S)<0 \\ \frac{1-P(E)}{5}×C(E|S) + P(E) && 0≤C(E|S)≤5 \\ \end{cases} } P(ES)={5P(E)×(5+C(ES))51P(E)×C(ES)+P(E)5C(ES)<00C(ES)5

记忆方法:记住插值图及(三个)特殊点坐标,根据图像通过一次函数的截距式去构建关系式即可。

此公式通过P(E)建立了P(E|S)和C(E|S)的关系。

组合证据的不确定性算法:

  • 当组合证据是多个单一证据的合取

    E = E1 AND E2 AND … AND En,如果已知 P(E1|S),P(E2|S),…,P(En|S),则 P(E|S) = min { P(E1|S), P(E2|S), … , P(En|S) }

  • 当组合证据是多个单一证据的析取

    E = E1 OR E2 OR … OR En,如果已知 P(E1|S),P(E2|S),…,P(En|S),则 P(E|S) = max { P(E1|S), P(E2|S), … , P(En|S) }

  • 非运算

    P(¬E|S) = 1 – P(E|S)

不确定性的传递算法:

  • 不确定的证据:

    假设S是对证据E的观察,则P(E|S)表示在观察S下,E为真的概率,值在[0,1]。

    可以分为四种情况讨论,先讨论前两种,“证据E肯定发生”和“证据E肯定不发生”,这两种也算是“确定的证据”,作为“不确定的证据”的特殊情况考虑。

    但四种情况都满足杜达公式:
    P ( H ∣ S ) = P ( H ∣ E ) × P ( E ∣ S ) + P ( H ∣ ¬ E ) × P ( ¬ E ∣ S ) \textcolor{red} { P(H|S) = P(H|E)×P(E|S)+P(H|¬E)×P(¬E|S) } P(HS)=P(HE)×P(ES)+P(H¬E)×P(¬ES)

    • 证据E肯定发生

      证据E肯定发生,也就意味着在观察S下证据E出现的概率为1,即P(E|S)=1,且P(¬E|S)=0,则杜达公式可化为:P(H|S)=P(H|E)

      证据E肯定出现的情况下,通过Bayes公式,结论H的先验概率P(H)更新为P(H|E)的计算公式为:P(H|E) = LS×P(H) / [(LS-1)×P(H)+1]

      综合后得到在证据E肯定发生下存在的等式:
      P ( H ∣ S ) = P ( H ∣ E ) = L S × P ( H ) ( L S − 1 ) × P ( H ) + 1 \textcolor{red} { P(H|S)=P(H|E)=\frac{LS×P(H)}{(LS-1)×P(H)+1} } P(HS)=P(HE)=(LS1)×P(H)+1LS×P(H)

      P ( H ∣ E ) = L S × P ( H ) ( L S − 1 ) × P ( H ) + 1 P(H|E)=\frac{LS×P(H)}{(LS-1)×P(H)+1} P(HE)=(LS1)×P(H)+1LS×P(H) 的几率形式表示: O ( H ∣ E ) = L S × O ( H ) O(H|E) = LS×O(H) O(HE)=LS×O(H)

    • 证据E肯定不发生

      证据E肯定不发生,也就意味着在观察S下证据E出现的概率为0,即P(E|S)=0,且P(¬E|S)=1,则杜达公式可化为:P(H|S)=P(H|¬E)

      证据E肯定不出现的情况下,通过Bayes公式,结论H的先验概率P(H)更新为P(H|¬E)的计算公式为:P(H|¬E) = LN×P(H) / [(LN-1)×P(H)+1]

      综合后得到在证据E肯定不发生下存在的等式:
      P ( H ∣ S ) = P ( H ∣ ¬ E ) = L N × P ( H ) ( L N − 1 ) × P ( H ) + 1 \textcolor{red} { P(H|S)=P(H|¬E)=\frac{LN×P(H)}{(LN-1)×P(H)+1} } P(HS)=P(H¬E)=(LN1)×P(H)+1LN×P(H)

      P ( H ∣ ¬ E ) = L N × P ( H ) ( L N − 1 ) × P ( H ) + 1 P(H|¬E)=\frac{LN×P(H)}{(LN-1)×P(H)+1} P(H¬E)=(LN1)×P(H)+1LN×P(H) 的几率形式表示: O ( H ∣ ¬ E ) = L N × O ( H ) O(H|¬E) = LN×O(H) O(H¬E)=LN×O(H)

    只对“证据肯定出现时”的公式进行完整推导,“证据肯定不出现时”的公式推导类似。

    推导过程:

    由贝叶斯公式得:

    P ( H ∣ E ) = P ( E ∣ H ) × P ( H ) P ( E )                  ① P(H|E) = \frac{P(E|H) × P(H)}{P(E)} \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space ① P(HE)=P(E)P(EH)×P(H)                

    同理:

    P ( ¬ H ∣ E ) = P ( E ∣ ¬ H ) × P ( ¬ H ) P ( E )            ② P(¬H|E) = \frac{P(E|¬H) × P(¬H)}{P(E)}\space\space\space\space\space\space\space\space\space\space ② P(¬HE)=P(E)P(E¬H)×P(¬H)          

    ①除以②,得:

    P ( H ∣ E ) P ( ¬ H ∣ E ) = P ( E ∣ H ) P ( E ∣ ¬ H ) × P ( H ) P ( ¬ H )            ③ \frac{P(H|E)}{P(¬H|E)} = \frac{P(E|H)}{P(E|¬H)}×\frac{P(H)}{P(¬H)}\space\space\space\space\space\space\space\space\space\space ③ P(¬HE)P(HE)=P(E¬H)P(EH)×P(¬H)P(H)          

    其中 L S = P ( E ∣ H ) P ( E ∣ ¬ H ) LS = \frac{P(E|H)}{P(E|¬H)} LS=P(E¬H)P(EH),③可化为:

    P ( H ∣ E ) P ( ¬ H ∣ E ) = L S × P ( H ) P ( ¬ H )                    ③ \frac{P(H|E)}{P(¬H|E)} = LS×\frac{P(H)}{P(¬H)}\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space ③ P(¬HE)P(HE)=LS×P(¬H)P(H)                  

    由③式及P(¬H|E)=1–P(H|E)、P(¬H)=1-P(H),得:

    P ( H ∣ E ) = L S × P ( H ) ( L S − 1 ) × P ( H ) + 1 P(H|E) = \frac{LS×P(H)}{(LS-1)×P(H)+1} P(HE)=(LS1)×P(H)+1LS×P(H)

    ③式也可以根据几率的定义化为几率形式:

    P ( H ∣ E ) 1 − P ( H ∣ E ) = P ( E ∣ H ) P ( E ∣ ¬ H ) × P ( H ) 1 − P ( H ) \frac{P(H|E)}{1-P(H|E)} = \frac{P(E|H)}{P(E|¬H)}×\frac{P(H)}{1-P(H)} 1P(HE)P(HE)=P(E¬H)P(EH)×1P(H)P(H)

    O ( H ∣ E ) = L S × O ( H ) O(H|E) = LS × O(H) O(HE)=LS×O(H)

    推导完毕。

    “证据肯定不出现时”的推导只需将贝叶斯公式换成对P(H|¬E)和P(¬H|¬E)适用贝叶斯公式即可。

    • P(E|S) = P(E) 的特殊情况

      P(E|S) = P(E) 即证据E和观察S相互独立,E与S无关,则杜达公式可化为:P(H|S)=P(H|E)×P(E)+P(H|¬E)×P(¬E)=P(H)

      即存在等式:
      P ( H ∣ S ) = P ( H ) P(H|S)=P(H) P(HS)=P(H)

      其中 P(H|E)×P(E)+P(H|¬E)×P(¬E)=P(H) 为全概率公式

    • P(E|S)为其他值(非0,非1,非P(E))的情况

      此时0

    【人工智能】不确定性推理(QDU)_第3张图片

    通过插值图可得到EH公式:
    P ( H ∣ S ) = { P ( H ) − P ( H ∣ ¬ E ) P ( E ) × P ( E ∣ S ) + P ( H ∣ ¬ E ) 0 ≤ P ( E ∣ S ) < P ( E ) P ( H ∣ E ) − P ( H ) 1 − P ( E ) × [ P ( E ∣ S ) − P ( E ) ] + P ( H ) P ( E ) ≤ P ( E ∣ S ) ≤ 1 \textcolor{red} { P(H|S) = \begin{cases} \frac{P(H)-P(H|¬E)}{P(E)}×P(E|S)+P(H|¬E) && 0≤P(E|S)P(HS)={P(E)P(H)P(H¬E)×P(ES)+P(H¬E)1P(E)P(HE)P(H)×[P(ES)P(E)]+P(H)0P(ES)<P(E)P(E)P(ES)1

    记忆方式同“C(E|S) 与 P(E|S) 的关系式”。

    EH公式所建立的关系: P ( E ∣ S ) → P ( H ) , P ( E ) P ( H ∣ E ) , P ( H ∣ ¬ E ) P ( H ∣ S ) P(E|S) \xrightarrow[P(H),P(E)]{P(H|E),P(H|¬E)} P(H|S) P(ES)P(HE),P(H¬E) P(H),P(E)P(HS)

    将“C(E|S) 与 P(E|S) 的关系式”代入EH公式可以得到CP公式:
    P ( H ∣ S ) = { [ P ( H ) − P ( H ∣ ¬ E ) ] × [ 1 5 C ( E ∣ S ) + 1 ] + P ( H ∣ ¬ E ) C ( E ∣ S ) ≤ 0 [ P ( H ∣ E ) − P ( H ) ] × 1 5 C ( E ∣ S ) + P ( H ) C ( E ∣ S ) > 0 \textcolor{red} { P(H|S) = \begin{cases} [P(H)-P(H|¬E)]×[\frac{1}{5} C(E|S)+1]+P(H|¬E) && C(E|S)≤0 \\ [P(H|E)-P(H)]×\frac{1}{5} C(E|S) + P(H) && C(E|S)>0 \\ \end{cases} } P(HS)={[P(H)P(H¬E)]×[51C(ES)+1]+P(H¬E)[P(HE)P(H)]×51C(ES)+P(H)C(ES)0C(ES)>0

    CP公式所建立的关系: C ( E ∣ S ) → P ( H ) P ( H ∣ E ) , P ( H ∣ ¬ E ) P ( H ∣ S ) C(E|S) \xrightarrow[P(H)]{P(H|E),P(H|¬E)} P(H|S) C(ES)P(HE),P(H¬E) P(H)P(HS)

    其中的P(H|E)和P(H|¬E)可由 P ( H ∣ E ) = L S × P ( H ) ( L S − 1 ) × P ( H ) + 1 P(H|E)=\frac{LS×P(H)}{(LS-1)×P(H)+1} P(HE)=(LS1)×P(H)+1LS×P(H) P ( H ∣ ¬ E ) = L N × P ( H ) ( L N − 1 ) × P ( H ) + 1 P(H|¬E)=\frac{LN×P(H)}{(LN-1)×P(H)+1} P(H¬E)=(LN1)×P(H)+1LN×P(H)求得,而P(H)一般为已知。

结论不确定性的合成算法:

若有n条知识都支持相同的结论,而且每条知识的前提条件所对应的证据Ei(i =1,2,…,n)都有相应的观察Si 与之对应,此时只要先求出每条知识的 O(H|Si),然后就可运用下述公式求出 O(H|S1,S2,…,Sn)。
O ( H ∣ S 1 , S 2 , … , S n ) = O ( H ∣ S 1 ) O ( H ) × O ( H ∣ S 2 ) O ( H ) × . . . × O ( H ∣ S n ) O ( H ) × O ( H ) \textcolor{red} { O(H|S_1,S_2,…,S_n)= \frac{O(H|S_1)}{O(H)}×\frac{O(H|S_2)}{O(H)}×...×\frac{O(H|S_n)}{O(H)}×O(H) } O(HS1,S2,,Sn)=O(H)O(HS1)×O(H)O(HS2)×...×O(H)O(HSn)×O(H)
主观Bayes方法的优缺点:

主要优点:

  • 其计算公式大多是在概率论的基础上推导出来的,具有较坚实的理论基础
  • 知识的静态强度LS、LN 由领域专家根据实际经验得到,避免了大量的数据统计工作
  • 给出了在证据不确定情况下更新先验概率为后验概率的方法,且从推理过程中看,确实是实现了不确定性的传递

主要缺点:

  • 它要求领域专家在给出知识时,同时给出 H 的先验概率,这是比较困难的
  • Bayes定理中要求事件间相互独立,限制了该方法的应用

小总结:

  1. 几率函数一般只是作为公式转换的中间工具使用,比如要想实现结论的合成,就必须先将概率转化为几率,合成之后再转换回概率。

  2. P ( H ∣ E ) = L S × P ( H ) ( L S − 1 ) × P ( H ) + 1 P(H|E)=\frac{LS×P(H)}{(LS-1)×P(H)+1} P(HE)=(LS1)×P(H)+1LS×P(H) P ( H ∣ ¬ E ) = L N × P ( H ) ( L N − 1 ) × P ( H ) + 1 P(H|¬E)=\frac{LN×P(H)}{(LN-1)×P(H)+1} P(H¬E)=(LN1)×P(H)+1LN×P(H)是恒成立的,而 P ( H ∣ S ) = P ( H ∣ E ) P(H|S)=P(H|E) P(HS)=P(HE) P ( H ∣ S ) = P ( H ∣ ¬ E ) P(H|S)=P(H|¬E) P(HS)=P(H¬E)分别只在证据E肯定出现和肯定不出现时成立。

  3. 无论是在CF模型中还是主观Bayes方法中,静态强度都与知识有关,动态强度都与证据有关;

    两种模式下的组合证据的不确定性算法都是以动态强度为每一项求最大值或最小值;

    CF模型中的动态强度为CF(E),主观Bayes方法中的动态强度为P(E|S),表达的都是证据E的可信(正确)度。

  4. 要深刻理解“C(E|S) 与 P(E|S) 的关系式”、EH公式和CP公式。

    这三个公式、“组合证据的不确定性算法”、中间工具“几率”以及P(H|E)和P(H|¬E)的恒成立公式将作为解决主观Bayes计算题目的重要工具。

主观贝叶斯方法题目

例1:

设有规则:

R 1 :    I F          E 1                                                   T H E N          ( 2 , 0.0001 )          H 1 R1: \space\space IF \space\space\space\space\space\space\space\space E_1 \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space THEN\space\space\space\space\space\space\space\space (2, 0.0001) \space\space\space\space\space\space\space\space H_1 R1:  IF        E1                                                 THEN        (2,0.0001)        H1

R 2 :    I F          E 1    A N D    E 2                                T H E N          ( 100 , 0.001 )          H 1 R2: \space\space IF \space\space\space\space\space\space\space\space E_1 \space\space AND \space\space E_2 \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space THEN\space\space\space\space\space\space\space\space (100, 0.001) \space\space\space\space\space\space\space\space H_1 R2:  IF        E1  AND  E2                              THEN        (100,0.001)        H1

R 3 :    I F          H 1                                                  T H E N          ( 200 , 0.01 )          H 2 R3: \space\space IF \space\space\space\space\space\space\space\space H_1 \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space THEN\space\space\space\space\space\space\space\space (200, 0.01) \space\space\space\space\space\space\space\space H_2 R3:  IF        H1                                                THEN        (200,0.01)        H2

已知:P(E1)=P(E2)=0.6,P(H1)=0.091,P(H2)=0.01

用户回答:P(E1|S1)=0.76,P(E2|S2)=0.68

求:P(H2|S1,S2)

根据如上描述可以得到推理网络如下:

【人工智能】不确定性推理(QDU)_第4张图片

思考过程:

​ 目标是P(H2|S1,S2),显然需要合成结论,但是我们先不要急着分解。观察网络发现H1作为证据是可以直接推出H2的,因此完全可以使用EH公式将P(H1|S1,S2)转化为P(H2|S1,S2),现在问题转化为求解P(H1|S1,S2)了。

​ 这时我们再考虑合成结论的问题,合成结论必不可少的是“结论的不确定性合并算法”和几率,问题转化为求解P(H1|S1)和P(H1|S2)。

​ 求解P(H1|S1)很简单,根据知识R1,使用EH公式、P(E1|S1),即可求解出P(H1|S1);但是对于P(H1|S2)的求解就不那么显而易见了,三条知识我们使用两条了,那么剩下的知识R2肯定是用于计算P(H1|S2)的。

​ 知识R2要用到证据的组合算法,R2的条件是E1、E2的合取,且已知P(E1|S1)=0.76,P(E2|S2)=0.68,即P(E2|S2)1|S1)。按照合取取最小的原则,这里仅考虑E2对H1的影响。因此知识R2可以忽略S1和E1,用于计算P(H1|E2),进而计算P(H1|S2)。

​ 这样就可以求解了。

计算过程:

  1. 计算P(H1|S1)

    根据公式 P ( H ∣ E ) = L S × P ( H ) ( L S − 1 ) × P ( H ) + 1 P(H|E)=\frac{LS×P(H)}{(LS-1)×P(H)+1} P(HE)=(LS1)×P(H)+1LS×P(H)和知识R1得到 P ( H 1 ∣ E 1 ) = L S 1 × P ( H 1 ) ( L S 1 − 1 ) × P ( H 1 ) + 1 = 0.167 P(H_1|E_1)=\frac{LS_1×P(H_1)}{(LS_1-1)×P(H_1)+1}=0.167 P(H1E1)=(LS11)×P(H1)+1LS1×P(H1)=0.167

    由于P(E1|S1)=0.76>P(E1),所以 P ( H 1 ∣ S 1 ) = P ( H 1 ) + P ( H 1 ∣ E 1 ) − P ( H 1 ) 1 − P ( E 1 ) × ( P ( E 1 ∣ S 1 ) − P ( E 1 ) ) = 0.121 P(H_1|S_1)=P(H_1)+\frac{P(H_1|E_1)-P(H_1)}{1-P(E_1)}×(P(E_1|S_1)-P(E_1))=0.121 P(H1S1)=P(H1)+1P(E1)P(H1E1)P(H1)×(P(E1S1)P(E1))=0.121

    得到P(H1|S1)其实也就得到了O(H1|S1)=0.138

  2. 计算P(H1|S2)

    根据公式 P ( H ∣ E ) = L S × P ( H ) ( L S − 1 ) × P ( H ) + 1 P(H|E)=\frac{LS×P(H)}{(LS-1)×P(H)+1} P(HE)=(LS1)×P(H)+1LS×P(H)和知识R2得到 P ( H 1 ∣ E 2 ) = L S 2 × P ( H 1 ) ( L S 2 − 1 ) × P ( H 1 ) + 1 = 0.909 P(H_1|E_2)=\frac{LS_2×P(H_1)}{(LS_2-1)×P(H_1)+1}=0.909 P(H1E2)=(LS21)×P(H1)+1LS2×P(H1)=0.909

    由于P(E2|S2)=0.68>P(E2)所以 P ( H 1 ∣ S 2 ) = P ( H 1 ) + P ( H 1 ∣ E 2 ) − P ( H 1 ) 1 − P ( E 2 ) × ( P ( E 2 ∣ S 2 ) − P ( E 2 ) ) = 0.255 P(H_1|S_2)=P(H_1)+\frac{P(H_1|E_2)-P(H_1)}{1-P(E_2)}×(P(E_2|S_2)-P(E_2))=0.255 P(H1S2)=P(H1)+1P(E2)P(H1E2)P(H1)×(P(E2S2)P(E2))=0.255

    得到P(H1|S2)其实也就得到了O(H1|S2)=0.342

  3. 合成结论,计算P(H1|S1,S2)

    O(H1)=0.1

    根据合成公式可以得到: O ( H 1 ∣ S 1 , S 2 ) = O ( H 1 ∣ S 1 ) O ( H 1 ) × O ( H 1 ∣ S 2 ) O ( H 1 ) × O ( H 1 ) = 0.472 O(H_1|S_1,S_2)= \frac{O(H_1|S_1)}{O(H_1)}×\frac{O(H_1|S_2)}{O(H_1)}×O(H_1)=0.472 O(H1S1,S2)=O(H1)O(H1S1)×O(H1)O(H1S2)×O(H1)=0.472

    转化为概率:P(H1|S1,S2)=0.321

  4. 计算P(H2|S1,S2)

    在知识R3中,H1其实相当于证据,H2相当于结论。

    先计算出P(H2|H1)后再根据EH公式计算即可。

    P ( H 2 ∣ H 1 ) = L S 3 × P ( H 2 ) ( L S 3 − 1 ) × P ( H 2 ) + 1 = 0.669 P(H_2|H_1)=\frac{LS_3×P(H_2)}{(LS_3-1)×P(H_2)+1}=0.669 P(H2H1)=(LS31)×P(H2)+1LS3×P(H2)=0.669

    由于P(H1|S1,S2)=0.321>P(H1),根据EH公式可得: P ( H 2 ∣ S 1 , S 2 ) = P ( H 2 ) + P ( H 2 ∣ H 1 ) − P ( H 2 ) 1 − P ( H 1 ) × ( P ( H 1 ∣ S 1 , S 2 ) − P ( H 1 ) ) = 0.177 P(H_2|S_1,S_2)=P(H_2)+\frac{P(H_2|H_1)-P(H_2)}{1-P(H_1)}×(P(H_1|S_1,S_2)-P(H_1))=0.177 P(H2S1,S2)=P(H2)+1P(H1)P(H2H1)P(H2)×(P(H1S1,S2)P(H1))=0.177

最终结果为P(H2|S1,S2)=0.177。

本题总结:

​ 难点:组合证据的处理,这是本题的一个特点。

​ 技巧:做主观贝叶斯计算题时,不一定要背过“C(E|S)~P(E|S)公式”、“EH公式”和“CP公式”,理解插值图后先画出题,再推一下公式,也很快。

例2:

设有如下知识:

R 1 :    I F          E 1                  T H E N          ( 2 , 0.001 )              H 1 R1: \space\space IF \space\space\space\space\space\space\space\space E_1 \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space THEN\space\space\space\space\space\space\space\space (2, 0.001) \space\space\space\space\space\space\space\space\space\space\space\space H_1 R1:  IF        E1                THEN        (2,0.001)            H1

R 2 :    I F          E 2                  T H E N          ( 100 , 0.001 )          H 1 R2: \space\space IF \space\space\space\space\space\space\space\space E_2 \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space THEN\space\space\space\space\space\space\space\space (100, 0.001) \space\space\space\space\space\space\space\space H_1 R2:  IF        E2                THEN        (100,0.001)        H1

R 3 :    I F          H 1                  T H E N          ( 200 , 0.01 )           H 2 R3: \space\space IF \space\space\space\space\space\space\space\space H_1 \space\space\space\space\space\space\space\space\space\space\space\space\space\space\space\space THEN\space\space\space\space\space\space\space\space (200, 0.01) \space\space\space\space\space\space\space\space\space H_2 R3:  IF        H1                THEN        (200,0.01)         H2

已知:P(H1)=0.09,P(H2)=0.01,C(E1|S1)=2,C(E2|S2)=1

求:P(H2|S1,S2)

根据如上描述可以得到推理网络如下:

【人工智能】不确定性推理(QDU)_第5张图片

思考过程:

​ 与例1类似,相比例1少了组合证据,多了可信度转化到概率。

​ 根据知识R3和EH公式可以由P(H1|S1,S2)算出P(H2|S1,S2),问题转化为求解P(H1|S1,S2)。

​ 根据知识R1和知识R2,利用结论不确定合成求解P(H1|S1,S2),问题转化为求解P(H1|S1)和P(H1|S2)。

​ 根据CP公式可由可信度推出P(H1|S1)和P(H1|S2),可信度已知所以该问题可解。

计算过程:

  1. 计算 P(H1|S1) ( O(H1|S1) )

    P ( H 1 ∣ E 1 ) = L S 1 × P ( H 1 ) ( L S 1 − 1 ) × P ( H 1 ) + 1 = 0.17 P(H_1|E_1)=\frac{LS_1×P(H_1)}{(LS_1-1)×P(H_1)+1}=0.17 P(H1E1)=(LS11)×P(H1)+1LS1×P(H1)=0.17

    ∵ C(E1|S1) = 2 > 0

    P ( H 1 ∣ S 1 ) = [ P ( H 1 ∣ E 1 ) − P ( H 1 ) ] × 1 5 C ( E 1 ∣ S 1 ) + P ( H 1 ) = 0.122 P(H_1|S_1) = [P(H_1|E_1)-P(H_1)]×\frac{1}{5} C(E_1|S_1) + P(H_1) = 0.122 P(H1S1)=[P(H1E1)P(H1)]×51C(E1S1)+P(H1)=0.122

    ∴ O(H1|S1) = 0.14

  2. 计算 P(H1|S2) ( O(H1|S2) )

    计算过程完全同计算P(H1|S1)

    P ( H 1 ∣ E 2 ) = L S 2 × P ( H 1 ) ( L S 2 − 1 ) × P ( H 1 ) + 1 = 0.91 P(H_1|E_2)=\frac{LS_2×P(H_1)}{(LS_2-1)×P(H_1)+1}=0.91 P(H1E2)=(LS21)×P(H1)+1LS2×P(H1)=0.91

    ∵ C(E1|S2) = 1 > 0

    P ( H 1 ∣ S 2 ) = [ P ( H 1 ∣ E 2 ) − P ( H 1 ) ] × 1 5 C ( E 2 ∣ S 2 ) + P ( H 1 ) = 0.254 P(H_1|S_2) = [P(H_1|E_2)-P(H_1)]×\frac{1}{5} C(E_2|S_2) + P(H_1) = 0.254 P(H1S2)=[P(H1E2)P(H1)]×51C(E2S2)+P(H1)=0.254

    ∴ O(H1|S2) = 0.34

  3. 计算 P(H1|S1,S2) ( O(H1|S1,S2) )

    O(H1)=0.1

    根据合成公式可以得到: O ( H 1 ∣ S 1 , S 2 ) = O ( H 1 ∣ S 1 ) O ( H 1 ) × O ( H 1 ∣ S 2 ) O ( H 1 ) × O ( H 1 ) = 0.476 O(H_1|S_1,S_2)= \frac{O(H_1|S_1)}{O(H_1)}×\frac{O(H_1|S_2)}{O(H_1)}×O(H_1)=0.476 O(H1S1,S2)=O(H1)O(H1S1)×O(H1)O(H1S2)×O(H1)=0.476

    P(H1|S1,S2)=0.322

  4. 计算 P(H2|S1,S2) ( O(H2|S1,S2) )

    使用EH公式

    ∵ P(H1|S1,S2) > P(H1)

    P ( H 2 ∣ S 1 , S 2 ) = P ( H 2 ) + P ( H 1 ∣ S 1 , S 2 ) − P ( H 1 ) 1 − P ( H 1 ) × ( P ( H 2 ∣ H 1 ) − P ( H 2 ) ) = 0.165 P(H_2|S_1,S_2)=P(H_2)+\frac{P(H_1|S_1,S_2)-P(H_1)}{1-P(H_1)}×(P(H_2|H_1)-P(H_2))=0.165 P(H2S1,S2)=P(H2)+1P(H1)P(H1S1,S2)P(H1)×(P(H2H1)P(H2))=0.165

最终结果P(H2|S1,S2) = 0.165

本题总结:

​ 技巧:使用CP公式将可信度转换为后验概率。

基于证据理论的不确定性推理方法

证据理论(D-S理论)

D-S理论采用集合来表示命题,分别用信任函数似然函数类概率函数来描述知识的精确信任度、不可驳斥信任度及估计信任度,即可以从各个不同角度刻画命题的不确定性。

D-S证据理论与其他概率方法的区别:

① 它有两个值,即对每个命题指派两个不确定度量(类似但不等于概率)

② 存在一个证据使得命题似乎可能成立,但使用这个证据又不直接支持或拒绝它

基本概念:

设U为变量x的所有可能取值的有限集合 (亦称样本空间),且U中的每个元素都相互独立,则由U的所有子集构成的集合称为幂集,记为2U。当U中的元素个数为N时,则其幂集的元素个数为2N ,且其中的每一个元素A都对应于一个关于x的命题,称该命题为“x的值在A中” 。

例如:用x代表所看到的颜色,U={红,黄,蓝},

A={红} 表示“ x是红色” ; A={红,蓝} 表示“ x或者是红色,或者是蓝色” 。

概率分配函数:

定义:U为样本空间,设函数M:2U→[0, 1],且满足: M(∅) = 0 (∅为空集)∑A⊆UM(A)=1,则称M为2U上的概率分配函数,M(A)称为A的基本概率数。

① M(A) 的作用是把U的任意一个子集A都映射为[0,1]上的一个数M(A)。它表示依据当前环境(证据)对U的子集A成立的一种信任度量,是对U的子集的信任分配。

② 概率分配函数不是概率。

例题(下面的例题均基于此样例):

U = {红,黄,蓝}

假设定义2U上的一个基本函数M:

​ M({红})=0.3,M({黄})=0,M({蓝})=0.1,

​ M({红,黄})=0.2,M({红,蓝})=0.2,M({黄,蓝})=0.1,

​ M({红,黄,蓝})=0.1,

​ M({∅})=0

其中,{0.3,0,0.1,0.2,0.2,0.1,0.1,0} 分别是幂集中各个子集的基本概率数。显然M满足概率分配函数的定义。

对概率分配函数的几点说明:

(1)概率分配函数的作用是把U的任意一个子集都映射为[0,1]上的一个数M(A)。

当A包含于U且A由单个元素组成时,M(A)表示对A的精确信任度;

当A包含于U、A≠U,且A由多个元素组成时,M(A)也表示对A的精确信任度,但却不知道这部分信任度该分给A中哪些元素;

当A=U时,则M(A)是对U的各个子集进行信任分配后剩下的部分,它表示不知道该如何对它进行分配。

例如:

以 Ω={红,黄,蓝} 为例说明。

当A={红}时,由于M(A)=0.3,它表示对命题 “x是红色”的精确信任度为0.3。

当A={红,黄}时,由于M(A)=0.2,它表示对命题“x或者是红色,或者是黄色”的精确信任度为0.2,却不知道该把这0.2分给{红}还是分给{黄}。

当A=Ω={红,黄,蓝}时,由于M(A)=0.2,表示不知道该对这0.2如何分配,但它不属于{红},就一定属于{黄}或{蓝},只是基于现有的知识,还不知道该如何分配而已。

(2)M 是 2U上而非U上的概率分布,所以基本概率分配函数不是概率,它们不必相等,而且M(A)≠1-M(¬A)。

事实上 M({红})+M({黄})+M({蓝})=0.3+0+0.1=0.4≠1。

信任函数:

定义:命题的信任函数(Belief Function)定义为A中全部子集对应的基本概率之和,即

Bel: 2U→[0, 1],且 Bel(A) = ∑B⊆AM(B) 对所有的A⊆U

① 命题A的信任函数的值,是A的所有子集的基本概率分配函数值的和,用来表示对A的总的信任度。

② Bel函数又称为下限函数。

③ Bel(∅) = M(∅) =0;Bel(U) = ∑B⊆UM(B) = 1

以Ω={红,黄,蓝}为例说明。

Bel({红,黄}) = M({红})+M({黄})+M({红,黄}) = 0.3+0+0.2 = 0.5。

当A为单一元素组成的集合时,Bel(A)=M(A)。

似然函数:

定义:似然函数Pl:2U→[0, 1],且 Pl(A) = 1- Bel(~A) = ∑A∩B≠∅M(B) 对所有的A⊆U

① Bel(A)表示对A为真的信任度,则 Bel(~ A) 表示对~ A为真,即A为假的信任度,所以 Pl(A) 表示A非假的信任度,它又称为上限函数不可驳斥函数

② 0 ≤ Bel(A) ≤ Pl(A) ≤ 1

③ Pl(A) - Bel(A):表示既不信任A,也不信任~A的一种度量,可表示对不知道的度量

以 Ω={红,黄,蓝} 为例说明。

​ Pl({红})

= 1 - Bel(¬{红})

= 1 - Bel({黄,蓝})

= 1- (M({黄}) + M({蓝}) + M({黄,蓝}))

= 1 - (0+0.1+0.1) = 0.8

这里0.8是“红”为非假的信任度。

由于“红”为真的精确信任度为0.3,即Bel({红})=0.3,而剩下的0.8 - 0.3=0.5,则是知道非假,但却不能肯定为真的那部分。

信任区间:

由于Bel(A)和Pl(A)分别表示A为真的信任度和A为非假的信任度,因此,可分别称Bel(A)和Pl(A)为对A信任程度的下限和上限,记为
A ( B e l ( A ) , P l ( A ) ) A(Bel(A), Pl(A)) A(Bel(A),Pl(A))
Pl(A)-Bel(A)表示既不信任A,也不信任¬A的程度, 即对于A是真是假不知道的程度。

【人工智能】不确定性推理(QDU)_第6张图片

信任度是对假设信任程度的下限估计——悲观估计

似然度是对假设信任程度的上限估计——乐观估计

下面用例子进一步说明上限与下限的意义:

  • A(0.25,1)

    由于Bel(A)=0.25,说明对A为真有一定程度的信任,信任度为0.25; 另外由于Bel(~A) = 1-PI(A) = 0,说明对~A不信任。总的表示为对A有0.25的信任度。

  • A(0,0.85)

    由于Bel(A)=0,而Bel(~A) = 1-PI(A) =1- 0.85 = 0.15。所以,表示对A为假有一定程度的信任,信任度为0.15。

  • A(0.25,0.85)

    由于Bel(A)=0.25,说明对A为真有0.25的信任度;由于Bel(~A) = 0.15,说明对A为假有0.15的信任度 。所以A(0.25,0.85)表示对A为真的信任度比对A为假的信任度稍高一些。

类概率函数 f(A):

定义:f(A) = Bel(A) + (|A| ÷ |U|) (Pl(A) - Bel(A)) 其中|A| 、|U|分别表示A和U中包含元素的个数

f(∅)=0, f(U)=1

∀A⊆U f(~A)=1-f(A)

① ∀A⊆U 0 ≤ f(A) ≤ 1

② ∀A⊆U Bel(A) ≤ f(A) ≤ PI(A)

证据的不确定性度量:

  • 以区间(Bel(A), Pl(A))作为证据A的不确定性度量:表示对A信任程度的上限和下限。

    • A(0,0):表示A为假
    • A(0,1):表示对A一无所知
    • A(1,1):表示A为真
  • 以类概率函数f(A)作为证据A的不确定性度量

    f(A) = Bel(A) + (|A| ÷ |U|) (Pl(A) - Bel(A))

规则的不确定性度量:

设U={u1, …, un},A和B为U的子集,如:A={a1, …, am},B={b1, …, bk}

不确定性推理规则可表示为: I f      A      t h e n      B      C F If \space\space\space\space A \space\space\space\space then \space\space\space\space B\space\space\space\space CF If    A    then    B    CF

  • B是结论,用样本空间的子集表示,b1, …, bk是该子集中的元素
  • CF={c1, …, ck}为可信度因子。c1, …, ck表示规则的不 确定性度量,ci表示前提A成立时bi的可信度

不确定性推理规则可详细表示为:
I f      A      t h e n      B = { b 1 , … , b k }      C F = { c 1 , … , c k } \textcolor{red} { If \space\space\space\space A \space\space\space\space then \space\space\space\space B=\{b_1, …, b_k\}\space\space\space\space CF=\{c_1,…, c_k\} } If    A    then    B={b1,,bk}    CF={c1,,ck}
假设bi∈U,即B为集合U的子集,则 M({bi})=f(A) · ci

M(B)为B的概率分配函数,即M(B) = M({b1}, {b2}, …, {bk})。

同时规定:M(U)=1-∑i=1,2,…,kM({bi})

剩下没有基本概率数的U的子集的基本概率数均被设置为0。

组合证据的不确定性:

当规则的前提(证据)E是多个命题的合取或析取时,定义:
f ( A 1 ∧ A 2 ∧ . . . ∧ A n ) = m i n f ( A 1 ) , f ( A 2 ) , . . . , f ( A n ) f ( A 1 ∨ A 2 ∨ . . . ∨ A n ) = m a x f ( A 1 ) , f ( A 2 ) , . . . , f ( A n ) \textcolor{red} { f(A_1∧A_2∧...∧A_n) = min{f(A_1), f(A_2), ..., f(A_n)} \\ f(A_1∨A_2∨...∨A_n) = max{f(A_1), f(A_2), ..., f(A_n)} } f(A1A2...An)=minf(A1),f(A2),...,f(An)f(A1A2...An)=maxf(A1),f(A2),...,f(An)
不确定性的传递算法:

如果有两条知识支持同一条结论:
A 1 → B = { b 1 , … , b k }      { c 1 , … , c k } A 2 → B = { b 1 , … , b k }      { c 1 , , … , c k , } A1 → B =\{b_1,…, b_k\}\space\space\space\space \{c_1,…, c_k\}\\ A2 → B =\{b_1,…, b_k\}\space\space\space\space \{c_1^,,…, c_k^,\}\\ A1B={b1,,bk}    {c1,,ck}A2B={b1,,bk}    {c1,,ck}
如何确定M(B)?

首先分别对每一条知识求出概率分配函数:

M1({b1}, …, {bk})

M2({b1}, …, {bk})

设M1和M2是两个概率分配函数,则合成(正交和) M=M1⊕M2定义为:
M ( ∅ ) = 0 M ( a ) = K − 1 ⋅ ∑ X ∩ Y = a M 1 ( X ) ⋅ M 2 ( Y ) \textcolor{red} { M(∅) =0 \\ M(a) =K^{-1}· \sum_{X∩Y=a} M_1(X) · M_2(Y) } M()=0M(a)=K1XY=aM1(X)M2(Y)
其中a为待求基本概率数的集合(U的子集),X,Y也为U的子集。本质是找两个U的子集X和Y满足二者的交集为集合a,满足条件的X和Y在两个规则中对应的基本概率数的乘积加和。

其中
K = 1 − ∑ X ∩ Y = ∅ M 1 ( X ) ⋅ M 2 ( Y ) = ∑ X ∩ Y ≠ ∅ M 1 ( X ) ⋅ M 2 ( Y ) \textcolor{red} { K=1- \sum_{X∩Y=∅}M_1(X)· M_2(Y) = \sum_{X∩Y≠∅}M_1(X)· M_2(Y) } K=1XY=M1(X)M2(Y)=XY=M1(X)M2(Y)

如果K≠0,则正交和M也是一个概率分配函数

如果K=0,则不存在正交和M,称M1与M2矛盾。

例题:

设Ω={a,b},且从不同知识源得到的概率分配函数分别为

​ M1(∅,{a},{b},{a,b}) = (0,0.3,0.5,0.2)

​ M2(∅,{a},{b},{a,b}) = (0,0.6,0.3,0.1)

求正交和M=M1⊕M2

① 先求K

K= 1 - [M1({a}) × M2({b}) + M1({b}) × M2({a})] = 0.61

② 再求M(∅,{a},{b},{a,b})

M({a}) = K-1×[M1({a}) × M2({a}) + M1({a}) × M2({a, b}) + M1({a, b}) × M2({a})] = 0.54

同理得:M({b}) = 0.43,M({a, b}) = 0.03

故:M(∅,{a},{b},{a,b}) = (0, 0.54, 0.43, 0.03)

计算题解题流程:

如果有两条知识支持同一条结论:
A 1 → B = { b 1 , … , b k }      { c 1 , … , c k } A 2 → B = { b 1 , … , b k }      { c 1 , , … , c k , } \textcolor{red} { A1 → B =\{b_1,…, b_k\}\space\space\space\space \{c_1,…, c_k\}\\ A2 → B =\{b_1,…, b_k\}\space\space\space\space \{c_1^,,…, c_k^,\}\\ } A1B={b1,,bk}    {c1,,ck}A2B={b1,,bk}    {c1,,ck}
如何确定f(B)?

step1:首先分别对每一条知识求出概率分配函数

M1({b1}, …, {bk})

M2({b1}, …, {bk})

由M=M1⊕M2求出结论B的概率分配函数M(B)

step2:求出M(B)后,再根据信任函数、似然函数分别求出 Bel(B) 和 Pl(B):

Bel(A) = ∑B⊆AM(B)

Pl(A) = 1- Bel(~A) = ∑A∩B≠∅M(B)

step3:根据类概率函数公式即可求出f(B)

f(B) = Bel(B) + (|B| ÷ |U|) (Pl(B) - Bel(B))

证据理论的优点与不足:

  • 优点:证据理论的优点在于能够满足比概率论更弱的公理系统,可以区分不知道和不确定的情况,可以依赖证据的积累,不断缩小假设的集合。
  • 不足:① 证据理论最早是作为经典概率理论的扩展而引入的,所以受到很多的批评 ② 在证据理论中,证据的独立性不易得到保证 ③ 基本概率分配函数要求给的值太多,计算传递关系复杂,随着诊断问题可能答案的增加,证据理论的计算呈指数增长,传递关系复杂,比较难以实现

证据理论题目

题目

已知 f(A1) = 0.53,f(A2) = 0.52,|U|= 20,

​ A1 → \rightarrow B={b1, b2, b3} (c1, c2, c3) = (0.1, 0.5, 0.3)

​ A2 → \rightarrow B={b1, b2, b3} (c1, c2, c3) = (0.4, 0.2, 0.1)

求:f(B)

解答

step1:分别对每一条知识求出概率分配函数

M1(B) = M1({b1}, {b2}, {b3}) = {f(A1)·c1, f(A1)·c2, f(A1)·c3}

M2(B) = M2({b1}, {b2}, {b3}) = {f(A2)·c1, f(A2)·c2, f(A2)·c3}

M1({b1}) = f(A1)·c1 = 0.053 M1({b2}) = f(A1)·c2 = 0.265 M1({b3}) = f(A1)·c3 = 0.159

M2({b1}) = f(A2)·c1 = 0.208 M2({b2}) = f(A2)·c2 = 0.104 M2({b3}) = f(A2)·c3 = 0.052

M1(U) = 1-(M1({b1}) + M1({b2}) + M1({b3})) = 0.523

M2(U) = 1-(M2({b1}) + M2({b2}) + M2({b3})) = 0.636

step2:结论不确定性的合成

定义M=M1⊕M2为合成后的概率分配函数

K = M1({b1})·M2({b1}) + M1({b2})·M2({b2}) + M1({b3})·M2({b3}) +

​ M1({b1})·M2(U) + M1({b2})·M2(U) + M1({b3})·M2(U) +

​ M1(U)·M2({b1}) + M1(U)·M2({b2}) + M1(U)·M2({b3})

= 0.8732

M(∅) = 0

M({b1}) = K-1·[M1({b1})·M2(U) + M1({b1})·M2({b1}) + M1(U)·M2({b1})] = 0.1758

M({b2}) = K-1·[M1({b2})·M2(U) + M1({b2})·M2({b2}) + M1(U)·M2({b2})] = 0.2869

M({b3}) = K-1·[M1({b3})·M2(U) + M1({b3})·M2({b3}) + M1(U)·M2({b3})] = 0.1564

M(U) = 1 - [M({b1}) + M({b2}) + M({b3})] = 1 - (0.1758 + 0.2869 + 0.1564) = 0.3809

step3:根据信任函数、似然函数分别求出 Bel(B) 和 Pl(B)

Bel(B) = M({b1}) + M({b2}) + M({b3}) = 0.6191

Pl(B) = 1-Bel({b4, b5, …, b20}) = 1 (或Pl(B)=M(U)+M({b1})+M({b2})+M({b3})=M(U)+Bel(B)=1)

step4:根据类概率函数公式求出 f(B)

f(B) = Bel(B) + (|B|÷|U|) (Pl(B) - Bel(B)) = Bel(B) + 3 20 \frac{3}{20} 203 × (1 - Bel(B)) = 0.676 (保留三位小数)

你可能感兴趣的:(【人工智能】,人工智能)