原创:石晓文
之前我们介绍了moviesLens数据集,数据集中主要有两个文件:
ratings数据
文件里面的内容包含了每一个用户对于每一部电影的评分。数据格式如下:
userId, movieId, rating, timestamp
userId: 每个用户的id
movieId: 每部电影的id
rating: 用户评分,是5星制,按半颗星的规模递增(0.5 stars - 5 stars)
timestamp: 自1970年1月1日零点后到用户提交评价的时间的秒数
数据排序的顺序按照userId,movieId排列的。
movies数据
文件里包含了一部电影的id和标题,以及该电影的类别。数据格式如下:
movieId, title, genres
movieId:每部电影的id
title:电影的标题
genres:电影的类别(详细分类见readme.txt)
本文,主要介绍如何通过该数据集实现UserCF算法。
首先,我们定义我们数据的路径,并使用pandas读入:
-
moviesPath = '../data/ml-1m/movies.csv'
-
ratingsPath = '../data/ml-1m/ratings.csv'
-
moviesDF = pd.read_csv(moviesPath,index_col=None)
-
ratingsDF = pd.read_csv(ratingsPath,index_col=None)
-
这里我们按照4:1的比例将数据集进行拆分,同时打印出总的用户和电影数量、训练集中的用户和电影数量以及测试集中的用户和电影数量:
-
trainRatingsDF,testRatingsDF = train_test_split(ratingsDF,test_size=0.2)
-
-
print(
"total_movie_count:"+str(len(
set(ratingsDF[
'movieId'].values.tolist()))))
-
print(
"total_user_count:" + str(len(
set(ratingsDF[
'userId'].values.tolist()))))
-
print(
"train_movie_count:" + str(len(
set(trainRatingsDF[
'movieId'].values.tolist()))))
-
print(
"train_user_count:" + str(len(
set(trainRatingsDF[
'userId'].values.tolist()))))
-
print(
"test_movie_count:" + str(len(
set(testRatingsDF[
'movieId'].values.tolist()))))
-
print(
"test_user_count:" + str(len(
set(testRatingsDF[
'userId'].values.tolist()))))
结果为:
-
total_movie_count:9066
-
total_user_count:671
-
train_movie_count:8381
-
train_user_count:671
-
test_movie_count:4901
-
test_user_count:671
-
所以,这里并不是所有的电影都被分到测试集合训练集中。接下来,我们得到用户-电影的评分矩阵,使用pandas的数据透视功能,同时,我们得到电影id和用户id与其对应索引的映射关系:
-
trainRatingsPivotDF = pd.pivot_table(trainRatingsDF[['userId','movieId','rating']],columns=['movieId'],index=['userId'],values='rating',fill_value=0)
-
-
moviesMap = dict(enumerate(list(trainRatingsPivotDF.columns)))
-
-
usersMap = dict(enumerate(list(trainRatingsPivotDF.index)))
-
-
ratingValues = trainRatingsPivotDF.values.tolist()
-
这里我们使用余弦相似度来计算用户之间的相似度关系:
-
def calCosineSimilarity(list1,list2):
-
res = 0
-
denominator1 = 0
-
denominator2 = 0
-
for (val1,val2) in zip(list1,list2):
-
res += (val1 * val2)
-
denominator1 += val1 ** 2
-
denominator2 += val2 ** 2
-
return res / (math.sqrt(denominator1 * denominator2))
-
随后,需要计算用户之间的相似度矩阵,对于用户相似度矩阵,这是一个对称矩阵,同时对角线的元素为0,所以我们只需要计算上三角矩阵的值即可:
-
userSimMatrix = np.zeros((len(ratingValues),len(ratingValues)),dtype=np.float32)
-
for i
in range(len(ratingValues)-1):
-
for j
in range(i+1,len(ratingValues)):
-
userSimMatrix[i,j] = calCosineSimilarity(ratingValues[i],ratingValues[j])
-
userSimMatrix[j,i] = userSimMatrix[i,j]
接下来,我们要找到与每个用户最相近的K个用户,用这K个用户的喜好来对目标用户进行物品推荐,这里K=10,下面的代码用来计算与每个用户最相近的10个用户:
-
userMostSimDict = dict()
-
for i in range(len(ratingValues)):
-
userMostSimDict[i] = sorted(enumerate(list(userSimMatrix[0])),key = lambda x:x[1],reverse=True)[:10]
-
得到了每个用户对应的10个兴趣最相近的用户之后,我们根据下面的公式计算用户对每个没有观看过的电影的兴趣分:
这里,如果用户已经对电影打过分,那么兴趣值就是0,代码如下:
-
userRecommendValues = np.zeros((len(ratingValues),len(ratingValues[0])),dtype=np.float32)
-
for i
in range(len(ratingValues)):
-
for j
in range(len(ratingValues[i])):
-
if ratingValues[i][j] == 0:
-
val = 0
-
for (user,sim)
in userMostSimDict[I]:
-
val += (ratingValues[user][j] * sim)
-
userRecommendValues[i,j] = val
接下来,我们为每个用户推荐10部电影:
-
userRecommendDict = dict()
-
for i in range(len(ratingValues)):
-
userRecommendDict[i] = sorted(enumerate(list(userRecommendValues[i])),key = lambda x:x[1],reverse=True)[:10]
-
将推荐的结果转换为推荐列表之后,我们将推荐结果转换为二元组,这里要注意的是,我们一直使用的是索引,我们需要将索引的用户id和电影id转换为真正的用户id和电影id,这里我们前面定义的两个map就派上用场了:
-
userRecommendList = []
-
for key,value
in userRecommendDict.items():
-
user = usersMap[key]
-
for (movieId,val)
in value:
-
userRecommendList.append([user,moviesMap[movieId]])
最后一步,我们将推荐结果的电影id转换成对应的电影名,并打印结果:
-
recommendDF = pd.DataFrame(userRecommendList,columns=[
'userId',
'movieId'])
-
recommendDF = pd.merge(recommendDF,moviesDF[[
'movieId',
'title']],on=
'movieId',how=
'inner')
-
recommendDF.tail(10)
结果如下: