FP-growth算法 python实现(代码详解)

FP-growth算法 python实现(代码详解)_第1张图片

输出成《数据挖掘概念与技术 第三版》中表6.2的样子。

1.输出结果

FP-growth算法 python实现(代码详解)_第2张图片

2.代码:


# 1、定义 FP树:节点结构;树的相关操作
class treeNode:
    def __init__(self, nameValue, num, parentNode):
        self.name = nameValue #节点名字
        self.count = num #节点计数值
        self.nodeLink = None #用于连接树之间相同的元素项
        self.parent = parentNode
        self.children = {} #子节点

    def addnum(self, num):
        '''
        对count变量增加给定值
        '''
        self.count += num

# 2、构造FP树
def createTree(dataSet, minSup=2):
    '''

    :param dataSet: 输入的字典型数据
    :param minSup: 最小支持度计数
    :return: FP树、头指针表
    '''
    headerTable = {} # 用来存储头指针表
    # 第一次扫描数据集,获得频繁一项集
    for trans in dataSet: # 计算item出现频数
        for item in trans:
            headerTable[item] = headerTable.get(item, 0) + dataSet[trans]
    headerTable = {k:v for k,v in headerTable.items() if v >= minSup} # 字典存储了项、支持度计数
    # for k, v in headerTable.items():
    #     if v>=minSup:
    #         headerTable[k]=v
    freqItemSet = set(headerTable.keys()) # 单个项的集合

    if len(freqItemSet) == 0:
        return None, None  # 如果没有元素项满足要求,则退出

    for k in headerTable:
        headerTable[k] = [headerTable[k], None] # 初始化headerTable,字典类型:{'l1':[4,header]}

    # 第二次扫描数据集
    retTree = treeNode('Null Set', 1, None) # 创建树
    for tranSet, count in dataSet.items():
        localD = {}
        for item in tranSet:
            if item in freqItemSet: # 不在频繁一项集的元素去掉
                localD[item] = headerTable[item][0] #
        if len(localD) > 0:
            orderedItems = [v[0] for v in sorted(localD.items(), key=lambda p: p[1], reverse=True)] # 对事务内元素项排序
            updateTree(orderedItems, retTree, headerTable, count) # 将排序后的item集合填充的树中
    return retTree, headerTable #返回树型结构和头指针表

def updateTree(items, inTree, headerTable, count):
    '''

    :param items: 列表:存储顺序的元素项
    :param inTree: 根节点
    :param headerTable: 头指针表
    :param count: 原字典数据相同事务项的数量
    :return: 无返回值。作用:构造完树和头指针表。(会修改原字典、列表)
    '''
    if items[0] in inTree.children:#检查第一个元素项是否作为子节点存在
        inTree.children[items[0]].addnum(count) #存在,更新计数
    else:   #不存在,创建一个新的treeNode,将其作为一个新的子节点加入其中
        inTree.children[items[0]] = treeNode(items[0], count, inTree)
        if headerTable[items[0]][1] == None: #更新头指针表
            headerTable[items[0]][1] = inTree.children[items[0]]
        else:
            updateHeader(headerTable[items[0]][1], inTree.children[items[0]]) # items[0]:'l1'
    if len(items) > 1: # 不断迭代调用自身,每次调用都会删掉列表中的第一个元素
        updateTree(items[1::], inTree.children[items[0]], headerTable, count)

def updateHeader(nodeToTest, targetNode):
    '''
    更新头指针表,确保节点链接指向树中该元素项的每一个实例
    (指针表中存放的是树节点:treeNode,利用属性nodelink进行连接)
    '''
    while (nodeToTest.nodeLink != None):
        nodeToTest = nodeToTest.nodeLink
    nodeToTest.nodeLink = targetNode



# 3、挖掘FP树
def digTree(headerTable):
    '''

    :param headerTable: 头指针表
    :return: 返回条件FP树(子树)
    '''
    tiaojiantree = [] # 列表:存储条件FP树
    headersort = sorted(headerTable.items(), key=lambda p: p[1][0]) # 从小到大对头指针表排序,生成的是三维列表
    # print(headersort)
    # input()
    namelist=[i[0] for i in headersort] # 存储所有单元素项的名字

    for k in namelist:
        treeNode = headerTable[k][1]
        if treeNode.children=={}: #

            while treeNode != None:
                prefixPath = []
                nlist = []
                nodedic = {}
                searchTreePlus(treeNode, prefixPath, nlist)

                for i in range(len(nlist)):
                    nodedic[prefixPath[i]] = nlist[i]  # 构造字典:存储条件模式基
                tiaojiantree.append(nodedic)
                treeNode = treeNode.nodeLink  # 换到树内相同元素项节点,继续回溯,找条件模式基。
    return tiaojiantree

# 回溯条件模式基的FP树
def searchTreePlus(leafNode, prefixPath,nlist):
    if leafNode.parent != None:
        prefixPath.append(leafNode.name)
        nlist.append(leafNode.count)
        searchTreePlus(leafNode.parent, prefixPath,nlist)

def ascendTree(leafNode, prefixPath): #迭代上溯整棵树
    if leafNode.parent != None:
        prefixPath.append(leafNode.name)
        ascendTree(leafNode.parent, prefixPath)

def findPrefixPath(basePat, treeNode):
    '''

    :param basePat:(暂不用)
    :param treeNode: 要求上溯的子节点
    :return: 条件模式基
    '''
    condPats = {}
    while treeNode != None:
        prefixPath = []
        ascendTree(treeNode, prefixPath)
        if len(prefixPath) > 1:
            condPats[tuple(prefixPath[1:])] = treeNode.count # 构造字典:存储条件模式基
        treeNode = treeNode.nodeLink # 换到树内相同元素项节点,继续回溯,找条件模式基。
    return condPats

#构建一个集合的所有子集,利用二进制法
def PowerSetsBinary(items):
    N = len(items)
    b = []
    for i in range(2 ** N):  # 子集个数,每循环一次一个子集
        combo = []
        for j in range(N):  # 用来判断二进制下标为j的位置数是否为1
            if (i >> j) % 2:
                combo.append(items[j])
        b.append(combo)
    # print(b)
    # input()
    return b[1::] # 将空集筛掉

# 构造频繁项集
#通过条件PF树的非空子集+项,构建频繁项集
def frequentItems(item, retList):
    '''
    :param item:
    :param retList: 嵌套字典的列表
    :return: 产生的频繁项集
    '''
    res = {} # 存储频繁项集
    for i in retList: # i:字典 {’l2‘:2,'l1':2}
        key = [k for k in i.keys()]
        value = [v for v in i.values()]
        subSet = PowerSetsBinary(key)
        for subList in subSet:
            subList.append(item) # 子集与’l5‘拼接。
        for j in range(len(subSet)):
            if tuple(subSet[j]) in res:  # 频繁项集字典中已经有了该子集,数量相加
                res[tuple(subSet[j])] += res[tuple(subSet[j])]
            else: # 没有该子集
                if j < len(subSet) - 1: # j=len(subSet) - 1时,集合是全集
                    res[tuple(subSet[j])] = i[key[j]] # key[j]:'l'
                else:
                    res[tuple(subSet[j])] = min(value) # 此时,添加最长的项集

    print('产生的频繁项集', res)


def mineTree( headerTable, minSup, preFix, freqItemList):
    '''
    :param headerTable:头指针表,字典结构{'l1':[6,header])}
    :param minSup: 最小支持度
    :param preFix:集合:
    :param freqItemList:列表:
    :return:无返回值,打印要求的数据
    '''
    headersort=sorted(headerTable.items(), key=lambda p: p[1][0]) # 按支持度计数从小到大对字典排序,生成列表。

    bigL=[]  # ['l5', 'l4', 'l1', 'l3', 'l2']
    for v in headersort:
        bigL.append(v[0]) # 列表存储单项的名字
    # print(bigL)
    # input()
    for basePat in bigL[:-1]:  # 从教材上的头指针表的底端开始,特别注意:表中最后一个元素项 l2 的条件模式基是空,所以遍历时把它去掉。
        print ('项: ',basePat)    #添加的频繁项列表

        condPattBases = findPrefixPath(basePat, headerTable[basePat][1]) # 获取条件模式基
        print ('条件模式基:', condPattBases)
        # 2.从条件模式基创建条件FP树
        myCondTree, myHead = createTree(condPattBases, minSup)
        # myCondTree.disp(1)
        # input()
        FPtreedic=digTree(myHead)
        print('条件FP树:',FPtreedic)
        # 3.产生频繁模式
        frequentItems(basePat,FPtreedic)
        print("----------------------------------")




# 创建事务字典
def turndic(dataSet):
    retDict = {}
    for trans in dataSet:
        retDict[tuple(trans)] = retDict.get(tuple(trans), 0) + 1 #若没有相同事项,则为1;若有相同事项,则加1
    return retDict

if __name__ == '__main__':
    # 用二维列表存储数据
    dataset = [['l1', 'l2', 'l5'],
               ['l2', 'l4'],
               ['l2', 'l3'],
               ['l1','l2', 'l4'],
               ['l1','l3'],
               ['l2','l3'],
               ['l1','l3'],
               ['l1','l2','l3','l5'],
               ['l1','l2','l3']]

    minsup=2
    datadic=turndic(dataset) # 元数据转化为字典,相同项合并,目的:树回溯后产生的条件模式基是字典型数据,需在字典型数据上建子FP树。

    myFPtree, myHeaderTab = createTree(datadic, minsup) # 创建FP树、头指针表

    mineTree(myHeaderTab, minsup, set(), list()) # 挖掘树、打印



你可能感兴趣的:(python,算法,开发语言)