Spark MLlib 数据挖掘6--关联规则与推荐算法

Spark MLlib 数据挖掘6–关联规则与推荐算法

假设两个不相交的非空集合X、Y（X,Y可以理解为物品集），N为数据记录总数。
支持度定义：support(X–>Y) =|X交Y|/N，表示物品集X和Y同时出现的次数占总记录数的比例。
例如 support({啤酒}–>{尿布}) = 啤酒和尿布同时出现的次数/数据记录数 = 3/5=60%。
频繁项集定义：满足最小支持度的项集。
置信度定义：confidence(X–>Y) = |X交Y|/|X| ，集合X与集合Y中的项在一条记录同时出现的总次数/集合X出现的记录数 。
例如：confidence({啤酒}–>{尿布}) = 啤酒和尿布同时出现的次数/啤酒出现的次数=3/3=100%。
confidence({尿布}–>{啤酒}) = 啤酒和尿布同时出现的次数/尿布出现的次数 = 3/4 = 75%。
关联规则：满足最小支持度和置信度的关联关系。
关联规则挖掘步骤：生成频繁项集和生成规则。

基本定律：–Apriori定律
Apriori定律1)：如果一个集合是频繁项集，则它的所有子集都是频繁项集。
举例：假设一个集合{A,B}是频繁项集，即A、B同时出现在一条记录的次数大于等于最小支持度min_support，则它的子集{A},{B}出现次数必定大于等于min_support，即它的子集都是频繁项集。
Apriori定律2)：如果一个集合不是频繁项集，则它的所有超集都不是频繁项集。
举例：假设集合{A}不是频繁项集，即A出现的次数小于min_support，则它的任何超集如{A,B}出现的次数必定小于min_support，因此其超集必定也不是频繁项集。

关于Apriori算法：
Apriori原理，先生成1-频繁项目集，再利用1-频繁项目集生成2-频繁项目集，然后根据2-频繁项目集生成3-频繁项目集，依次类推，直至生成所有的频繁项目集，然后从频繁项目集中找出符合条件的关联规则。
它主要利用了向下封闭属性：如果一个项集是频繁项目集，那么它的非空子集必定是频繁项目集。
如下图所示：

关于FP-Growth算法 ：
FP-Growth算法将数据库中的频繁项集压缩到一颗频繁模式树中，同时保持了频繁项集之间的关联关系。
FP-Growth算法流程：
第一次扫描数据库，产生频繁1项集，并对产生的频繁项集按照频数降序排列，并剪枝支持数低于阀值的元素。处理后得到L集合。
第二次扫描数据库，对数据库的每个交易事务中的项按照L集合中项出现的顺序排序，生成FP-Tree。
例如下面图中例子所示：
假设存在如下订单，其中A、B、C、D、E分别代表不同商品。

FP-Growth算法应用-构建FP-Tree：

FP-Growth算法应用-FP-Tree生成频繁项集：

频繁项集：
; ; ; ;;;;

关于PrefixSpan算法 ：
PrefixSpan算法的全称是Prefix-Projected Pattern Growth，即前缀投影的模式挖掘。
在PrefixSpan算法中的前缀prefix通俗意义讲就是序列数据前面部分的子序列。比如对于序列数据B=，而A=,则A是B的前缀。

PrefixSpan算法流程 ：
输入：序列数据集S和支持度阈值α
输出：所有满足支持度要求的频繁序列集
1）找出所有长度为1的前缀和对应的投影数据库
2）对长度为1的前缀进行计数，将支持度低于阈值α的前缀对应的项从数据集S删除，同时得到所有的频繁1项序列，i=1.
3）对于每个长度为i满足支持度要求的前缀进行递归挖掘：
a) 找出前缀所对应的投影数据库。如果投影数据库为空，则递归返回。
b) 统计对应投影数据库中各项的支持度计数。如果所有项的支持度计数都低于阈值α，则递归返回。
c) 将满足支持度计数的各个单项和当前的前缀进行合并，得到若干新的前缀。
d) 令i=i+1，前缀为合并单项后的各个前缀，分别递归执行第3步。

注意：
spark.mllib提供了关联规则算法实现包括：
FP-growth
PrefixSpan
Spark MLlib中FP-Growth算法：Spark MLlib样例代码，读取数据进行频繁模式挖掘如下：

import org.apache.spark.mllib.fpm.FPGrowth
import org.apache.spark.rdd.RDD

val data = sc.textFile("data/mllib/sample_fpgrowth.txt")

val transactions: RDD[Array[String]] = data.map(s => s.trim.split(' '))
//设置支持度为0.2，分区个数为10
val fpg = new FPGrowth().setMinSupport(0.2).setNumPartitions(10)
val model = fpg.run(transactions)
model.freqItemsets.collect().foreach { itemset =>
  println(itemset.items.mkString("[", ",", "]") + ", " + itemset.freq)
}
val minConfidence = 0.8
model.generateAssociationRules(minConfidence).collect().foreach { rule =>
  println(
    rule.antecedent.mkString("[", ",", "]") + " => " + rule.consequent .mkString("[", ",", "]")
      + ", " + rule.confidence)
}

对于上述代码的参数解释如下：
Spark MLlib中FP-Growth实现采用以下超参数：
minSupport：对项目集的最小支持被识别为频繁。
numPartitions：用于分发工作的分区数。
minConfidence：生成关联规则的最小置信度。置信度表明关联规则被发现的真实程度。
freqItemsets：频繁的项目集。
associationRules：上面以置信度生成的关联规则。
transform：对于每个事务itemsCol，该transform方法将其项目与每个关联规则的前提进行比较。

Spark MLlib中PrefixSpan算法示例：Spark MLlib样例代码，读取数据进行频繁模式挖掘如下：

import org.apache.spark.mllib.fpm.PrefixSpan
val sequences = sc.parallelize(Seq(
  Array(Array(1, 2), Array(3)),
  Array(Array(1), Array(3, 2), Array(1, 2)),
  Array(Array(1, 2), Array(5)),
  Array(Array(6))
), 2).cache()
//设置支持度为0.5，模式最大长度为5
val prefixSpan = new PrefixSpan().setMinSupport(0.5).setMaxPatternLength(5)
val model = prefixSpan.run(sequences)
model.freqSequences.collect().foreach { freqSequence =>
  println(
    freqSequence.sequence.map(_.mkString("[", ", ", "]")).mkString("[", ", ", "]") +
      ", " + freqSequence.freq)
}

参数说明如下：
PrefixSpan优化参数
minSupport：最小支持度。
maxPatternLength：频繁序列模式的最大长度。任何超过此长度的频繁模式都不会包含在结果中。
maxLocalProjDBSize：在投影数据库的本地迭代处理开始之前，前缀投影数据库中允许的最大项目数。应根据执行程序的大小调整此参数。

关于协同过滤算法：
协同过滤推荐算法，是最经典、最常用的推荐算法。
通过分析用户兴趣，在用户群中找到指定用户的相似用户，综合这些相似用户对某一信息的评价，形成系统关于该指定用户对此信息的喜好程度预测。针对用户与物品的相似度分析，可将协同过滤算法分为基于用户的协同过滤算法和基于物品的协同过滤算法。
要实现协同过滤，需要以下几个步骤：
1）收集用户偏好；
2）找到相似的用户或物品；
3）计算推荐。

基于用户的协同过滤算法回顾：
基于用户对物品的偏好找到相邻的邻居用户，然后将邻居用户喜欢的推荐给当前用户。在计算上，就是将一个用户对所有物品的偏好作为一个向量来计算用户之间的相似度，找到K邻居后，根据邻居的相似度权重及其对物品的偏好，预测当前用户没有偏好的未涉及物品，计算得到一个排序的物品列表作为推荐。

基于物品的协同过滤算法回顾：
基于物品的协同过滤算法原理与基于用户的协同过滤的原理基本类似，只是在计算邻居时从物品本身，而不是从用户的角度。
从计算的角度看，就是将所有用户对某个物品的偏好作为一个向量来计算物品之间的相似度，得到物品的相似物品后，根据用户历史的偏好预测当前用户还没有表示偏好的物品，计算得到一个排序的物品列表作为推荐。

Spark MLlib协同过滤算法样例代码如下：

import org.apache.spark.mllib.recommendation.ALS
import org.apache.spark.mllib.recommendation.MatrixFactorizationModel
import org.apache.spark.mllib.recommendation.Rating
val data = sc.textFile("data/mllib/als/test.data")
val ratings = data.map(_.split(',') match { case Array(user, item, rate) =>
  Rating(user.toInt, item.toInt, rate.toDouble)})
val rank = 10 //设置潜在因子个数
val numIterations = 10 //设置迭代次数
val model = ALS.train(ratings, rank, numIterations, 0.01) //采用交替最小二乘法训练模型
val usersProducts = ratings.map { case Rating(user, product, rate) =>(user, product)}
val predictions =
  model.predict(usersProducts).map { case Rating(user, product, rate) =>((user, product), rate)  }
val ratesAndPreds = ratings.map { case Rating(user, product, rate) =>((user, product), rate) //获取模型推荐输出结果值
}.join(predictions)
val MSE = ratesAndPreds.map { case ((user, product), (r1, r2)) => val err = (r1 - r2) err * err}.mean()
println(“Mean Squared Error = ” + MSE) //计算均方误差

参数说明：
Spark MLlib协同过滤算法参数
numBlocks：用于并行计算的块数（设置为-1以为动配置）。
Rank：模型中潜在因子的数量。
Iterations：运行的迭代次数。
lambda ：ALS中的正则化参数。
implicitPrefs ：指定是使用显式反馈 ALS变体还是使用适用于隐式反馈数据的变量 。
alpha ：适用于ALS的隐式反馈变体的参数，其控制偏好观察中的 基线置信度。