关联规则之 Apriori 算法实现
一、数据预览
Apriori 算法是电商数据挖掘中的经典算法，用于发现商品之间的关联规则，例如买了 A 和 B 的情况下是否还会买 C，通过计算商品组合之间的支持度和置信度来实现。首先我们来看一张订单表，包含订单编号，和商品列表。如订单一表示同时购买了 A, B, E 三个商品。可用下方代码生成此表。
| tradeId | goodsLst |
|---|---|
| id001 | A,B,E |
| id002 | A,B,C,E |
| id003 | A,B,C |
| id004 | B,D |
| id005 | B,C |
| id006 | A,B,D |
| id007 | B,C,D |
| id008 | A,C |
| id009 | B,C |
| id0010 | A,C |
data_goods = pd.DataFrame({'tradeId': [f'id00{i}' for i in range(1,11)],
'goodsLst': ['A,B,E', 'A,B,C,E', 'A,B,C', 'B,D', 'B,C', 'A,B,D', 'B,C,D', 'A,C', 'B,C', 'A,C']})
以前述的 A+B=>C 为例，这条规则的支持度 = 同时包含 A, B, C 的订单数 / 订单总数，即 2 / 10 = 0.2 。其置信度 = 同时包含 A, B, C 的订单数 / 同时包含 A, B 的订单数，即 2 / 4 = 0.5。支持度体现了商品（组）的受欢迎程度，置信度体现了商品（组）对另一商品（组）的影响力。在挖掘关联规则时，需指定最小支持度和最小置信度，毕竟不收欢迎的商品，即使它们之间相辅相成，把它们摆在一起也不会有很多人买。
二、频繁项集
为了批量计算所有组合之间的关系，我们需要构建频繁项集，以下为百度百科对频繁项集的定义。
项集：最基本的模式是项集，它是指若干个项的集合。频繁模式是指数据集中频繁出现的项集、序列或子结构。频繁项集是指支持度大于等于最小支持度(min_sup)的集合。
先将原始数据转为集合形式，便于进行运算。
data_goods['goodsSet'] = data_goods['goodsLst'].apply(lambda x: set(x.replace(',', '')))
data_goods
将所有订单的中的商品整合成一个列表，用于对每个商品进行计数，即可生成频繁 1 项集，如商品 A 出现在 6 个订单中。
all_goods = sum(data_goods['goodsLst'].str.split(','), [])
itemset_1 = Counter(list(all_goods)).items()
itemset_1
dict_items([(‘A’, 6), (‘B’, 8), (‘E’, 2), (‘C’, 7), (‘D’, 3)])
计算关联规则需要生成频繁 k 项集（k≤最大组合个数），编写一个 get_item_set() 以便使用。默认最小支持度计数为 2 ，即某商品组至少要出现 2 次。利用 comb() 生成 k 个商品构成的组合，再判断这些组合集是否出现在订单集中。下图为生成的频繁 2 项集，如第一行即表示商品 A+B 出现在 4 个订单中。
def count_grp(s, the_col): # 计算目标集合在集合列中是子集的数量
return the_col.apply(lambda x: 1 if s.issubset(x) else 0).sum()
def get_item_set(uni_lst, the_col, k, min_support=2): # 生成 k 项集
grp_goods = [i for i in comb(uni_lst, k)]
df_itemset = pd.DataFrame({'grp': [set(i) for i in grp_goods]})
df_itemset['count'] = df_itemset['grp'].apply(
lambda x: count_grp(x, the_col))
return df_itemset[df_itemset['count'] >= min_support]
uni_goods = [i[0] for i in itemset_1]
itemset_2 = get_item_set(uni_goods, data_goods['goodsSet'], k=2)
itemset_2
再写一个 get_all_item_set() 用于生成候选总集，我们选择生成至频繁 4 项集（但 4 个商品构成的组合没有在订单中出现 2 次，被过滤）。
def get_all_item_set(uni, the_col, n, min_support=2): # 生成候选总集
all = []
for i in range(1, n+1):
all.append(get_item_set(uni, the_col, k=i, min_support=min_support))
return pd.concat(all)
all_itemset = get_all_item_set(uni_goods, data_goods['goodsSet'], n=4)
all_itemset
三、置信度
前置准备做好了，接下来就可以根据前述公式计算商品（组）间的置信度了。 我们以 A+E=>B 做测试，可见买了商品 A 和 E 时极有可能会买商品 B。
def get_confidence(term, aim, itemsets): # 计算置信度
result = term.union(aim)
support_term = itemsets[itemsets['grp'] == term]['count'].values
support_result = itemsets[itemsets['grp'] == result]['count'].values
support_term = support_term[0] if support_term else 0
support_result = support_result[0] if support_result.size > 0 else 0
confidence = support_result/support_term if support_term > 0 else 0
return f'{term}=>{aim}', confidence
get_confidence({'A', 'E'}, {'B'}, all_itemset)
(“{‘A’, ‘E’}=>{‘B’}”, 1.0)
四、关联规则
最后计算一下所有的关联规则，传入之前生成的候选总集 all_itemset，默认最小置信度为 0.6。由此，我们得到了所有存在较强关联的商品（组）。
def apriori(itemsets, gro_col='grp', min_confidence=0.6): # 计算所有关联规则并筛选
all_tuple = [i for i in perm(itemsets[gro_col], 2)] # 生成条件=>目标组
all_tuple = [(term, aim) for term, aim in all_tuple if aim.isdisjoint(term)] # 条件和目标无交集
grp_c_lst = []
for term, aim in all_tuple:
grp, c = get_confidence(term, aim, itemsets)) # 逐个计算置信度
grp_c_lst.append((grp, c))
df = pd.DataFrame(data=grp_c_lst, columns=['关联规则', '置信度'])
return df[df['置信度'] > min_confidence].sort_values('置信度', ascending=False)
apriori(all_itemset)
五、小结
本文初步实现了 Apriori 算法，对商品的关联规则进行了探索，如有不足，欢迎大佬们指出改正。这里是再不水文的话下班回家就只想睡觉的 Seon塞翁，下一篇见！
简明使用：三个步骤，整理指定格式数据输入->生成候选项集->计算关联规则。
# 输入唯一商品名列表，所有订单商品集合列，最大项集数
all_itemset = get_all_item_set(uni_goods, data_goods['goodsSet'], n=3)
# 输入候选项集（组合集+频数的形式）
apriori(all_itemset)