关联规则挖掘算法Apriori Python实战
相信大家一定听说过啤酒和尿布的营销案例【暂时先不去探讨是否是瞎编乱造的】，这个故事发生在20世纪90年代的美国沃尔玛超市中，沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象：在某些特定的情况下，啤酒与尿布，两件看上去毫无关系的商品会经常出现在一个购物篮中，这种独特的Transaction现象引起了管理人员的注意，经过后续的跟进调查分析，发现这种现象多出现在年轻父亲的身上。
那么，如何挖掘出来这种关联模式呢？比较经典的挖掘方法有Apriori、FP Tree等，今天我们先详细探讨一下Apriori算法的实现原理，随后给出Python源码，并结合现有真实数据进行实战。
“
啤酒与尿布
”
的故事产生于
20
世纪
90
年代的美国沃尔玛超市中，
沃尔玛的超市管理人
员分析销售数据时发现了一个令人难于理解的现象：
在某些特定的情况下，
“
啤酒
”
与
“
尿布
”
两件看上去毫无关系的商品会经常出现在同一个购物篮中，
这种独特的销售现象引起了管理
人员的注意，经过后续调查发现，这种现象出现在年轻的父亲身上
“
啤酒与尿布
”
的故事产生于
20
世纪
90
年代的美国沃尔玛超市中，
沃尔玛的超市管理人
员分析销售数据时发现了一个令人难于理解的现象：
在某些特定的情况下，
“
啤酒
”
与
“
尿布
”
两件看上去毫无关系的商品会经常出现在同一个购物篮中，
这种独特的销售现象引起了管理
人员的注意，经过后续调查发现，这种现象出现在年轻的父亲身上
def loadSampleDataSet(): return [[1, 3, 4], [2, 3, 5], [1, 2, 3, 5], [2, 3, 5]] def dataFromFile(inpath): file_iter = open(inpath, 'rU') for line in file_iter: line = line.strip().rstrip(',') recordIterator = frozenset(line.split(',')) yield recordIterator def getItemSetTransactionList(data_iterator): transactionList = list() itemSet = set() for record in data_iterator: transaction = record transactionList.append(transaction) for item in transaction: itemSet.add(frozenset([item])) # Generate 1-itemSets return itemSet, transactionList def createC1(dataSet): C1 = [] for transaction in dataSet: for item in transaction: if not [item] in C1: C1.append([item]) C1.sort() return map(frozenset, C1) def scanD(D, Ck, minSupport): ssCnt = {} for tid in D: for can in Ck: if can.issubset(tid): if not ssCnt.has_key(can): ssCnt[can] = 1 else: ssCnt[can] += 1 numItems = float(len(D)) retList = [] supportData = {} for key in ssCnt: support = ssCnt[key]/numItems if support >= minSupport: retList.insert(0, key) supportData[key] = support return retList, supportData def aprioriGen(Lk, k): retList = [] lenLk = len(Lk) for i in range(lenLk): for j in range(i+1, lenLk): L1 = list(Lk[i])[:k-2]; L2 = list(Lk[j])[:k-2] L1.sort(); L2.sort() if L1 == L2: retList.append(Lk[i] | Lk[j]) return retList def apriori(dataSet, minSupport): C1 = createC1(dataSet) D = map(set, dataSet) L1, supportData = scanD(D, C1, minSupport) L = [L1] k = 2 while (len(L[k-2]) > 0): Ck = aprioriGen(L[k-2], k) Lk, supK = scanD(D, Ck, minSupport) supportData.update(supK) L.append(Lk) k += 1 return L, supportData def generateRules(L, supportData, minConf=0.7): #supportData is a dict coming from scanD bigRuleList = [] for i in range(1, len(L)):#only get the sets with two or more items for freqSet in L[i]: H1 = [frozenset([item]) for item in freqSet] if (i > 1): rulesFromConseq(freqSet, H1, supportData, bigRuleList, minConf) else: calcConf(freqSet, H1, supportData, bigRuleList, minConf) return bigRuleList def calcConf(freqSet, H, supportData, brl, minConf=0.7): prunedH = [] #create new list to return for conseq in H: conf = supportData[freqSet]/supportData[freqSet-conseq] #calc confidence if conf >= minConf: print freqSet-conseq,'-->',conseq,'conf:',conf brl.append((freqSet-conseq, conseq, conf)) prunedH.append(conseq) return prunedH def rulesFromConseq(freqSet, H, supportData, brl, minConf=0.7): m = len(H[0]) if (len(freqSet) > (m + 1)): #try further merging Hmp1 = aprioriGen(H, m+1)#create Hm+1 new candidates Hmp1 = calcConf(freqSet, Hmp1, supportData, brl, minConf) if (len(Hmp1) > 1): #need at least two sets to merge rulesFromConseq(freqSet, Hmp1, supportData, brl, minConf) if __name__ == "__main__": inpath= 'C:\Users\Administrator\Apriori\GRIDDATA.csv' dataIterator = dataFromFile(inpath) itemSet, transactionList = getItemSetTransactionList(dataIterator) # dataSet = loadSampleDataSet() # te = createC1(transactionList) # print (type(te)) # print te # retlist, supportData = scanD(transactionList, te, 0.5) # print (retlist) # print (supportData) # aprioriGen(retlist, 2) L, supportData = apriori(transactionList, 0.002) bigRuleList = generateRules(L, supportData, 0.6) print bigRuleList
“
啤酒与尿布
”
的故事产生于
20
世纪
90
年代的美国沃尔玛超市中，
沃尔玛的超市管理人
员分析销售数据时发现了一个令人难于理解的现象：
在某些特定的情况下，
“
啤酒
”
与
“
尿布
”
两件看上去毫无关系的商品会经常出现在同一个购物篮中，
这种独特的销售现象引起了管理
人员的注意，经过后续调查发现，这种现象出现在年轻的父亲身上
“
啤酒与尿布
”
的故事产生于
20
世纪
90
年代的美国沃尔玛超市中，
沃尔玛的超市管理人
员分析销售数据时发现了一个令人难于理解的现象：
在某些特定的情况下，
“
啤酒
”
与
“
尿布
”
两件看上去毫无关系的商品会经常出现在同一个购物篮中，
这种独特的销售现象引起了管理
人员的注意，经过后续调查发现，这种现象出现在年轻的父亲身上
“
啤酒与尿布
”
的故事产生于
20
世纪
90
年代的美国沃尔玛超市中，
沃尔玛的超市管理人
员分析销售数据时发现了一个令人难于理解的现象：
在某些特定的情况下，
“
啤酒
”
与
“
尿布
”
两件看上去毫无关系的商品会经常出现在同一个购物篮中，
这种独特的销售现象引起了管理
人员的注意，经过后续调查发现，这种现象出现在年轻的父亲身上
