Surprise是一个用于简单快速构建推荐系统的Python库,其底层基于Python Scikit 构建。
官方文档地址:https://surprise.readthedocs.io/en/stable
安装方式:(1)通过pip安装,需具有Microsoft C++ Build Tools 环境。
(2)通过conda安装,使用miniconda或者anaconda。
Surprise库由于追求简易性导致其过于封装,因此个人认为相比学术界,其更适用于工业界。
编写目标:根据MovieLens数据,计算各电影间的相似度,找寻与ToyStory相似的电影进行推荐。
1、模块准备:
import os
import io
from surprise import KNNBaseline
from surprise import Dataset
2、数据准备过程:
编写代码:
#载入数据(此处是在线数据,也可设定自定义数据)并设定训练集
data = Dataset.load_builtin('ml-100k')
trainset = data.build_full_trainset()
#相似度计算设定,使用皮尔逊相似度计算法,使用ItemCF的相似度计算
sim_options = {'name': 'pearson_baseline', 'user_based': False}
#使用KNNBaseline算法(一种CF算法)进行推荐系统构建
algo = KNNBaseline(sim_options=sim_options)
algo.train(trainset)
#获得电影名称信息数据
rid_to_name, name_to_rid = read_item_names()
Surprise提供在线的MovieLens测试数据供使用,运行代码会有下载提示:
开发者也可以自己定义数据匹配使用(详细内容见官方文档,本文省略)
3、read_item_names()函数:用于读取电影信息数据:
#读取物品(电影)名称信息
def read_item_names():
file_name = ('E:/ml-100k/u.item') #该文件可从上步在线下载的数据中获取到
rid_to_name = {}
name_to_rid = {}
#读取并解码数据,将结构化数据返回
with io.open(file_name, 'r', encoding='ISO-8859-1') as f:
for line in f:
line = line.split('|')
#建立两种dict
#key是电影id,value是电影名
rid_to_name[line[0]] = line[1]
#key是电影名,value是电影id
name_to_rid[line[1]] = line[0]
return rid_to_name, name_to_rid
4、这里引入了两个概念,实际电影ID(来自数据的行,raw_id)和内部电影ID(inner_id,iid),可通过以下代码对两种ID进行测试:
#获得Toy Story电影的电影ID
toy_story_raw_id = name_to_rid['Toy Story (1995)']
print(toy_story_raw_id)
#通过Toy Story电影的电影ID获取该电影的推荐内部id
toy_story_inner_id = algo.trainset.to_inner_iid(toy_story_raw_id)
print(toy_story_inner_id)
5、输出推荐结果:
#获得Toy Story电影的相似(邻居)电影的ID集合
toy_story_neighbors = algo.get_neighbors(toy_story_inner_id, k=10)
#根据相似电影的内部电影ID获得实际电影ID
toy_story_neighbors = (algo.trainset.to_raw_iid(inner_id)
for inner_id in toy_story_neighbors)
#根据相似电影的实际电影ID获得实际电影名称
toy_story_neighbors = (rid_to_name[rid]
for rid in toy_story_neighbors)
#输出推荐结果
print("与《Toy Story》最相似的10个电影是:")
for movie in toy_story_neighbors:
print(movie)
结果: