Top-k高效用项集挖掘_学习笔记(三) TKO

前言

本篇博客出于学习交流目的,主要是用来记录自己学习后的理解,过程中遇到的问题和心路历程,方便之后回顾。过程中可能引用其他大牛的博客,文末会给出相应链接,侵删!

REMARK:本人菜鸟一枚,如有理解错误还望大家能够指出,相互交流。也是第一次以博客的形式记录,文笔烂到自己都看不下去,哈哈哈


这篇学习笔记关于一种高效Top-k的频繁效用项集挖掘算法。
参考文献:Efficient Algorithms for Mining Top-K High Utility Itemsets

本篇博客介绍论文中的第二种 one-phase算法TKO,一些必要的基础概念和定义在Top-k高效用项集挖掘学习笔记(一) 基础概念中给出,另一种 two-phase 算法在 Top-k高效用项集挖掘学习笔记(二) TKU 中详细记录,请手动跳转。

正文

TKO算法是这篇文章提出的第二种算法,他只需要一个过程就可以得到结果。这个算法基于HUI-Miner算法以及它的utility-list 结构,TKO的项集从这个utility-list中生成而不扫描原始数据库。本篇结构还是先说基础算法 TKOBase T K O B a s e ,然后再说最终版本,即在基础算法上加优化策略。(算法中包括 RUCRUZEPB R U C 、 R U Z 、 E P B 优化策略)

utility-list 结构

开始算法前,先简单了解一下utility-list 结构。

项的utility-list 被称作 initial utility-lists,可以通过扫描两次数据库得到。第一次遍历时计算项的TWU值和效用值;第二次扫描数据库时每个交易记录中的项按TWU值大小排序,并且每个项的 utility-list 被创建。
Top-k高效用项集挖掘_学习笔记(三) TKO_第1张图片
如表7所示,即交易记录中item按TWU值从小到大排序后的结果。
Top-k高效用项集挖掘_学习笔记(三) TKO_第2张图片
Fig.4展示了各项的utility-lists。每个item都由一个或多个元组组成,即有哪些交易记录包含这些项;元组由三部分组成(Tid,内部效用值iutil,剩余效用值rutil);剩余效用值就是这个item后面的效用值之和,具体看下面的定义。

Definition 17. 前驱和后继(Precede and succeed):
按照TWU值从小到大排列项, IiIj I i ≺ I j 表示 Ii I i Ij I j 之前,即前驱,当且仅当 TWU(Ii) T W U ( I i ) 大于或等于 TWU(Ij) T W U ( I j ) ,并且 Ii I i 按字典序比 Ij I j 小;否则称为后继,记作 IiIj I i ≻ I j (原文符号标记好像有误)。

Definition 18. 项集的级联(Concatenation of an itemset):
有两个项集 X={x1,x2,,xu}(xiI,1iu) X = { x 1 , x 2 , ⋯ , x u } ( x i ∈ I ∗ , 1 ≤ i ≤ u ) Y={y1,y2,,yv}(yjI,1jv) Y = { y 1 , y 2 , ⋯ , y v } ( y j ∈ I ∗ , 1 ≤ j ≤ v ) ,当且仅当 XY X ⊂ Y 并且 Y Y 的每个 item yiX y i ∉ X 都是X所有 item 的后继, Y Y 称为 X X 的级联。

Definition 19. (Appear after):
给定优先集合 I={I1,I2,,Im} I ∗ = { I 1 , I 2 , ⋯ , I m } ,和顺序 I1I2Im I 1 ≺ I 2 ≺ ⋯ ≺ I m ;假设项集和交易记录中的项都按这个顺序排序好了,在一个交易记录 Tr T r 中,一个项 IjI I j ∈ I ∗ 在项集 X={x1,x2,,xL} X = { x 1 , x 2 , ⋯ , x L } 之后发生,当且仅当 IjTr I j ∈ T r 并且 x1x2xLIj x 1 ≺ x 2 ≺ ⋯ ≺ x L ≺ I j Tr T r 中所有出现在 X X 之后的项集记作 Tr/X T r / X

Definition 20. 交易记录剩余效用值(Remaining utility of an itemset in a transaction): RU(X,Tr) R U ( X , T r )

RU(X,Tr)=IiTr/XEU(Ii,Tr) R U ( X , T r ) = ∑ I i ∈ T r / X E U ( I i , T r )

Definition 21. 数据库中的剩余效用值(Remaining utility of an itemset in a database): RU(X) R U ( X )
RU(X)=TrDRU(X,Tr) R U ( X ) = ∑ T r ∈ D R U ( X , T r )

Definition 22. 效用列表结构(Utility-list structure): ul(X) u l ( X )
项集X的Utility-list记作 ul(X) u l ( X ) ,里头存着若干三元组,有几个交易记录包含该项集就有几个元组,每个元组 r,EU(X,Tr),RU(X,Tr) ⟨ r , E U ( X , T r ) , R U ( X , T r ) ⟩ ,即交易记录的序号,X在交易记录上的效用值,X在交易记录上的剩余效用值。

以表7的数据集为例, {D} { D } T1 T 1 上的剩余效用值 RU({D},T1)=EU({A},T1)+EU({C},T1) R U ( { D } , T 1 ) = E U ( { A } , T 1 ) + E U ( { C } , T 1 ) {D} { D } 在整个数据集上的剩余效用值 RU({D})=RU({D},T1)+RU({D},T3)+RU({D},T4)=6+13+14=33 R U ( { D } ) = R U ( { D } , T 1 ) + R U ( { D } , T 3 ) + R U ( { D } , T 4 ) = ( 6 + 13 + 14 ) = 33 {DE} { D E } 在整个数据集上的剩余效用值 RU({DE})=RU({DE},T3)+RU({DE},T4)=1+3=4 R U ( { D E } ) = R U ( { D E } , T 3 ) + R U ( { D E } , T 4 ) = ( 1 + 3 ) = 4

Property 4.在项集X的Utility-list中,所有元组第二列( iutil i u t i l )的结果相加即X的效用值。

Property 5.有项集 X X 和级联项集 YX Y ⊃ X ,如果把元组第二列( iutil i u t i l )和第三列( rutil r u t i l )全部求和的效用值小于阈值 δ δ ,那么 Y Y 的效用值也小于 δ δ

Y Y X X 级联,根据定义18, Y Y 中多的项一定排在 X X 之后,而 X X iutil i u t i l rutil r u t i l 的累加和一定大于等于 Y Y iutil i u t i l rutil r u t i l 的累加和,根据 Property 4 P r o p e r t y   4 所以一定大于Y的效用值。

TKOBase T K O B a s e 算法——基础算法

TKOBase T K O B a s e 输入参数k和一个数据集 D D TKOBase T K O B a s e 开始时设置 min_utilBorder=0 m i n _ u t i l B o r d e r = 0 ,并且创建一个小堆结构 TopKCIList T o p K − C I − L i s t 来存储过程中的top-k HUIs H U I s ;算法扫描两边数据库创建initial utility-lists ϕULs ϕ − U L s ;然后用Topk-HUI-Search 算法(基于结合RUC:Raising threshold byUtility of Candidates和HUI-Miner算法,出自参考论文14)去挖掘搜索空间中的top-k HUI;算法不断更新 TopKCIList T o p K − C I − L i s t 中的top-k HUIs H U I s ,并利用列表中的信息更新 min_utilBorder m i n _ u t i l B o r d e r ;算法结束时, TopKCIList T o p K − C I − L i s t 中保存的即为top-k HUIs H U I s 完整解集。

对于每个搜索过程产生的L-项集 X={x1,x2,,xL} X = { x 1 , x 2 , ⋯ , x L } ,如果都不小于 min_utilBorder m i n _ u t i l B o r d e r ,那么利用RUC策略来更新 min_utilBorder m i n _ u t i l B o r d e r 的值。RUC就是把X加入 TopKCIList T o p K − C I − L i s t 中,然后 min_utilBorder m i n _ u t i l B o r d e r 更新为第k大EU值项集的阈值,把低于 min_utilBorder m i n _ u t i l B o r d e r 的项集从 TopKCIList T o p K − C I − L i s t 中删去,保证 TopKCIList T o p K − C I − L i s t 中只有top-k个。

算法伪代码如下图所示:
Top-k高效用项集挖掘_学习笔记(三) TKO_第3张图片

比较项集 X X iutil i u t i l rutil r u t i l 的累加和与 min_utilBorder m i n _ u t i l B o r d e r 大小,利用Property 5剪枝(第六行); Class[X] C l a s s [ X ] ULS[X] U L S [ X ] 分别储存项集级联以及他们的 utility-lists(第七行);候选项集 Z=XY Z = X ∪ Y ,并创建Z的utility-lists ul(Z) u l ( Z ) ,之后就是不断迭代的过程,直到没有候选项集生成时停止。

策略6:RUC(Raising the threshold by the Utilities of Can-didates)
这个策略可以用于任何one-phace依赖效用值建立的算法。该策略用 TopKCIList T o p K − C I − L i s t 结构保存top-k HUIs H U I s ,并把项集按降序排列。最初 TopKCIList T o p K − C I − L i s t 为空,把新项集X加入 TopKCIList T o p K − C I − L i s t 中,然后 min_utilBorder m i n _ u t i l B o r d e r 更新为第k大EU值项集的阈值,把低于 min_utilBorder m i n _ u t i l B o r d e r 的项集从 TopKCIList T o p K − C I − L i s t 中删去,保证 TopKCIList T o p K − C I − L i s t 中只有top-k个。

当给定两个项集 X X Y Y 以及他们的前缀 P P ,在Topk-HUI-Search 算法过程中,项集 Z=XY Z = X ∪ Y 的utility-lists ul(Z) u l ( Z ) 由下结构过程生成,其中包括两种情况:

CAES1:假设有一项集 X={x1} X = { x 1 } Y={y1} Y = { y 1 } ,并且 x1y1 x 1 ≺ y 1 。让 Z=XY={x1y1} Z = X ∪ Y = { x 1 , y 1 } 是由X级联 y1 y 1 生成的二项集。utility-lists ul(X) u l ( X ) 和utility-lists ul(Y) u l ( Y ) 初始化的时候就被创建了,而utility-lists ul(Z) u l ( Z ) 是通过下面的方法得到。包含项集Z的交易记录记为 Tr T r ,在utility-lists ul(Z) u l ( Z ) 中创建元组 Tr,EU(Z,Tr),RU(Z,Tr) ⟨ T r , E U ( Z , T r ) , R U ( Z , T r ) ⟩ ,其中 EU(Z,Tr)=EU(x1,Tr)+EU(y1,Tr) E U ( Z , T r ) = E U ( x 1 , T r ) + E U ( y 1 , T r ) RU(Z,Tr)=EU(y1,Tr) R U ( Z , T r ) = E U ( y 1 , T r )

CAES2:假设有L-1项集 X={x1x2xL1} X = { x 1 , x 2 , ⋯ , x L − 1 } Y={y1y2yL1} Y = { y 1 , y 2 , ⋯ , y L − 1 } L2 L ≥ 2 ),有 xi=yi(1iL1) x i = y i ( 1 ≤ i ≤ L − 1 ) 以及 xL1yL1 x L − 1 ≺ y L − 1 。让 Z=XY={x1x2xL1yL1} Z = X ∪ Y = { x 1 , x 2 , ⋯ , x L − 1 , y L − 1 } 是由X级联 yL1 y L − 1 生成的L项集;让 P=XY={x1x2xL2} P = X ∩ Y = { x 1 , x 2 , ⋯ , x L − 2 } X X Y Y 的共同前缀,给出utility-lists ul(X) u l ( X ) ul(Y) u l ( Y ) ul(P) u l ( P ) ,而utility-lists ul(Z) u l ( Z ) 是通过下面的方法得到。
包含项集Z的交易记录记为 Tr T r ,在utility-lists ul(Z) u l ( Z ) 中创建元组 Tr,EU(Z,Tr),RU(Z,Tr) ⟨ T r , E U ( Z , T r ) , R U ( Z , T r ) ⟩ ,其中 EU(Z,Tr)=[EU(X,Tr)+EU(Y,Tr)]EU(P,Tr) E U ( Z , T r ) = [ E U ( X , T r ) + E U ( Y , T r ) ] − E U ( P , T r ) RU(Z,Tr)=EU(Y,Tr) R U ( Z , T r ) = E U ( Y , T r )

TKO T K O 算法——最终算法

将给出四种改进策略用于 TKOBase T K O B a s e 算法就是 TKO T K O 算法,前两种是PE和DGU,这两个在前一个算法里以及说明了。下面说另外两种改进策略。

Definition 23. (Z-element):当一个元素的剩余效用值是0的时候被称为Z-element,否则被称为NZ-element。在X的效用列表中的所有Z-element集合记作 ZE(X) Z E ( X )

例如, {DBC} { D B C } 有两个Z-element, ZE({DBC})={T3,17,0,T4,17,0} Z E ( { D B C } ) = { ⟨ T 3 , 17 , 0 ⟩ , ⟨ T 4 , 17 , 0 ⟩ }

Property 6. NZEU(X) N Z E U ( X ) 是项集 X X 的所有NZ-element的第二列(iutil)的和,如果 [NZEU(X)+RU(X)]<min_utilBorder [ N Z E U ( X ) + R U ( X ) ] < m i n _ u t i l B o r d e r ,那么所有项集 X X 的级联都不是top-k HUIs。

策略7:RUZ(Reducing estimated utility values by using Z-elements)
该策略用在用于Topk-HUI-Search 算法生成候选项集过程中,根据Property 6,我们没必要生成 [NZEU(X)+RU(X)] [ N Z E U ( X ) + R U ( X ) ] 小于 min_utilBorder m i n _ u t i l B o r d e r 的项。

策略8:EPB(Exploring the most Promising Branches first)
该策略的目标是优先生成那些高效用值的候选项集,利用思想总是先扩展拥有最高预计效用值的项,这样更可能得到高效用值,因为这样可以更早的提早 min_utilBorder m i n _ u t i l B o r d e r ,就可以剪枝更多的搜索空间。

总结

作者在多个不同稀疏程度的数据集上作了对比,对比 TKO T K O TKU T K U 算法,总体上TKO} TKO} 效果要好,包括内存消耗和速度上,因为 TKO T K O 是one-phace算法,具体详细对比可以看原文。

这篇文章看起来内容很多,但是如果把定义都理解清楚还是容易看懂的,最后几乎快变成翻译这篇论文了,不过我已经尽量简化一些复杂的定义和理解了。作为一个记录吧,希望以后自己再看起来方便回顾。

你可能感兴趣的:(关联规则)