spark做视频推荐

推荐系统最常用的是协同过滤算法,下面我们来分析下同过滤算法

协同过滤算法可分为:

1.基于用户的(UserCF)

2.基于商品的(itemCF)

3.基于模型的(ModelCF)

按照模型可以分为

1.最近邻模型:基于距离的协同过滤

2Latent Factor Model(SVD):基于矩阵分解

3Graph:图模型


1.基于用户的协同过滤-基于用户相似性

通过不同用户对物品的评分来预测用户之间的相识度,基于用户之间的相似度做出推荐,就是给用户推荐和他兴趣相似的其他用户喜欢的物品

物品/用户    物品A     物品B      物品C                 物品D

用户A           1                         1                      推荐

用户B                         1 

用户C            1                        1                        1 


我们要给A推荐物品,因为用户A和C买的东西非常相似,用户C买了物品D,所有我们可以給用户A推荐物品D


基于UserCF的思想就是:基于用户对物品的偏好的相似性(通过用户对物品的评分,用户查看物品记录,用户对物品评论),找到相邻用户,将相邻用户喜欢的我推荐给当前用户。


基于商品(itemCF)-基于商品相似性

基于用户的协同过滤,通过用户对不同我的评分来预测物品之间的相似度,基于物品之间的相似度做出推荐。就是,给用户推荐和他之前喜欢的物品的相似的物品

用户/物品    物品A   物品B    物品C

用户A           1                      1

用户B           1          1          1

用户C           1                     推荐


因为用户A和用户C都买了物品A和物品C,说明物品A和物品C非常相似,用户C买了物品A,所以推荐用户C买物品C







推荐系统中迭代最小二乘算法的实现

实现代码:

inport org.apache.spark.ml.evaluation.RegressionEvaluator

import org.apache.spark.ml.recommendation.ALS


case class Rating(userId:Int,movieId:Int,rating:Float,timestamp:Long)

def parseRating(str:string):Rating={

val fields=str.split("::")

assert(fields.size==4)

Rating(fields(0).toInt,field(1).toInt,fields(2).tiFloat,fields(3).toLong)

}

//加载数据

val ratings=spark.read.textFile("data/mllib/als/sample_movielens_ratings.txt").map(parseRating).toDF

//分成训练集和测试集

val Array(training,test)=ratings.randomSplite(Array(0.8,0.2))

//在训练集上使用迭代最小二乘建立推荐模型

val als=new ALS().setMaxIter(5).setRegParam(0.01).setImlicitPrefs(true).setUserCol("userId").setItemCol("movieId").setRatingCol("rating")

val model=als.fit(training)

//在测试集上计算均方误差评估模型

val predictions=model.transform(test)


val evaluator=new RegressionEvalutor().setMetricName("rmse").setLabelCol("rating").setPredictionCol("prediction")


val rmse=evaluator.evaluate(predictions)

println(s"Root-mean-square error=$rmse")


topKRecs=model.recommendProducts(userId,K)

movieForUser=ratings.groupBy(user).mapValue(list).lookup(userId)

print moviesForUser





spark的使用矩阵因子来来做相关推荐

A*B的矩阵M=A*L矩阵N*L*B矩阵H

该模型称为潜在特征模型,旨在寻找那些潜在的特征,间接表示用户物品评分矩阵


隐式矩阵因子

前面我们在讨论显式的一些偏好信息,如rating,但在大部分应用中,拿不到这类信息,我们更多收集到的是隐式反馈信息,这类反馈信息没有明确地告诉某个用户对某个物品的偏好信息,但是可以从用户对某个物品的交互信息中建模出来,例如:一些二元特征,包括是否浏览过,是非购买过产品,以及多少次看过某部电影。


M矩阵是用户对物品的评分矩阵,N矩阵是是影片是否被某用户看过,用户看某部电影次数。



从数据中提取特征

数值特征:这些特征通常是实数或整数,比如年龄,

类别特征:它们的取值可能是状态集合中的某一种,例如用户性别,职业或电影类别,婚姻状况

文本特征:它们派生子数据中的文本内容,比如电影名,描述或是评论。

其它特征:大部分其他特征都最终表示为数值,比如图像,视频和音频被表示为数值数据的几何,地理位置则可由经纬或地理散列表示。






你可能感兴趣的:(spark做视频推荐)