数据挖掘——如何利用Python实现产品关联性分析apriori算法篇

在实际业务场景中，我们常常会探讨到产品的关联性分析，本篇文章将会介绍一下如何在Python环境下如何利用apriori算法进行数据分析。

1.准备工作

如果需要在Python环境下实现apriori算法，就离不开一个关键的机器学习库mlxtend，运行以下代码进行安装：

pip install mlxtend

为方便进行过程的演示，在此构建测试数据：

import pandas as pd
df=pd.DataFrame({'product_list':['A-C', 'D', 'A-B-C-D','A-C','A-C-D','A-C-B']})

测试数据截图如下：

对上述的数据进行以下处理：

df_chg=df['product_list'].str.split("-")

数据处理后，结果截图如下：

截止到此，准备工作已经完成，下面个将会以df_chg作为参数进行建模。

2.核心函数及代码

2.1 数据预处理

对传入的数据进行预处理，使其成为符合要求的数据。mlxtend模块中有专门用于数据预处理的方法，在这里直接进行调用即可：

#1.将传入的数据转换为算法可接受的数据类型（布尔值）
from mlxtend.preprocessing import TransactionEncoder
te = TransactionEncoder()
df_tf = te.fit_transform(df_chg)
#为方便进行查看，生成dataframe
data = pd.DataFrame(df_tf,columns=te.columns_)

运行以上代码后，传入的df_chg数据会被转换成符合要求的数据data，截图如下：

2.2 两个关键函数

apriori函数

语法：

apriori(df, min_support=0.5, use_colnames=False, max_len=None, verbose=0, low_memory=False)

参数详解：

• df: pandas模块中的数据帧，DataFrame形式的数据；
• min_support：一个介于0和1之间的浮点数，表示对返回的项集的最小支持度。
• use_colnames: 如果为 True，则在返回的 DataFrame 中使用 DataFrame 的列名;如果为False，则返回为列索引。通常情况下我们设置为True。
• max_len: 生成的项目集的最大长度。如果无（默认），则计算所有可能的项集长度。
• verbose: 如果 > = 1且 low_memory 为 True 时，显示迭代次数。如果 = 1且low_memory 为 False，则显示组合的数目。
• low_memory:如果为 True，则使用迭代器搜索 min_support 之上的组合。low _ memory = True 通常只在内存资源有限的情况下用于大型数据集，因为这个实现比默认设置大约慢3-6倍。

association_rules函数

语法：

association_rules(df, metric='confidence', min_threshold=0.8, support_only=False)

参数如下：

• df: pandas模块中的数据帧，DataFrame形式的数据；
• metric： 用于评估规则是否有意义的度量。可选参数有以下几种：‘support’, ‘confidence’, ‘lift’, 'leverage’和 ‘conviction’
• min_threshold： 评估度量的最小阈值，通过度量参数确定候选规则是否有意义。
• support_only : 只计算规则支持并用 NaN 填充其他度量列。如果: a)输入 DataFrame 是不完整的，例如，不包含所有规则前因和后果的支持值 b)你只是想加快计算速度，因为你不需要其他度量。

附带metric几种参数的计算方法：

• support(A->C) = support(A∩C) [aka ‘support’], range: [0, 1]

• confidence(A->C) = support(A∩C) / support(A), range: [0, 1]

• lift(A->C) = confidence(A->C) / support(C), range: [0, inf]

• leverage(A->C) = support(A->C) - support(A)*support(C),
  range: [-1, 1]

• conviction = [1 - support(C)] / [1 - confidence(A->C)],
  range: [0, inf]

3.实际应用案例

以下为完整的调用实例：

import pandas as pd
from mlxtend.preprocessing import TransactionEncoder
from mlxtend.frequent_patterns import apriori
from mlxtend.frequent_patterns import association_rules
#1.构建测试数据
df=pd.DataFrame({'product_list':['A-C', 'D', 'A-B-C-D','A-C','A-C-D','A-C-B']})
df_chg=df['product_list'].str.split("-")
#2.数据预处理
#将传入的数据转换为算法可接受的数据类型（布尔值）
te = TransactionEncoder()
df_tf = te.fit_transform(df_chg)
#为方便进行查看，生成dataframe
data = pd.DataFrame(df_tf,columns=te.columns_)
#3.建模
#利用 Apriori函数,设置最小支持度为0.2
frequent_itemsets = apriori(data,min_support=0.2,use_colnames= True)
#设置关联规则,设置最小置信度为0.15
temp= association_rules(frequent_itemsets,metric = 'confidence',min_threshold = 0.15)
#4.剪枝并控制输出
#设置最小提升度,并剔除对应的数据
min_lift=1
rules = temp.drop(temp[temp['lift']<min_lift].index)
#筛选需要输出的列
result = rules[['antecedents','consequents','support','confidence','lift']]
result=result.sort_values(['confidence','lift','support'],ascending=False)
result.to_csv('apriori_result.csv',index=False,encoding='utf-8-sig')

输出结果见下图：