简介
MovieLens其实是一个推荐系统和虚拟社区网站，它由美国 Minnesota 大学计算机科学与工程学院的GroupLens项目组创办，是一个非商业性质的、以研究为目的的实验性站点。GroupLens研究组根据MovieLens网站提供的数据制作了MovieLens数据集合，这个数据集合里面包含了多个电影评分数据集，分别具有不同的用途。本文均用MovieLens数据集来代替整个集合。MoveieLens数据集可以说是推荐系统领域最为经典的数据集之一，其地位类似计算机视觉领域里的MNIST数据集。
MovieLens
MoveLens是一个数据集合，其中根据创建时间、数据集大小等分为了若干个子数据集。每个数据集的格式、大小、用途均有所差异。本文以MovieLens 1M Dataset为例，具体介绍下此数据集，其它MovieLens数据集也大都类似，本文使用的数据集下载链接为ml-1m.zip。
MoveLens 1M 数据集包含了来自6040位在2000年加入MovieLens的用户，对大约3900部电影的1000209条匿名评价。
数据集概览
ml-1m.zip文件解压之后，可以得到4个文件，分别是：
- movies.dat
- ratings.dat
- user.dat
- README
README是一个Markdown格式文件，里面包含了记录了此数据集的基本信息，在此不赘述。我们主要关注一下前三个文件的内容和格式。
1、RATINGS 文件描述
打开ratings.dat文件，可以看到以下内容：
其文件格式为：
UserID::MovieID::Rating::Timestamp
- UserID范围是1~6040，代表了6040个MovieLens用户
- MovieID范围是1到3952，代表了3952部电影
- Rating范围是1到5，代表了用户对电影的评级，最高5颗星，不允许半颗星存在
- Timestamp是以秒为单位的时间戳
注意： 每个用户至少会对20部电影进行评级。
2、USER 文件描述
打开users.dat文件，可以看到以下内容：
其文件格式为：
UserID::Gender::Age::Occupation::Zip-code
- UserID范围是1~6040，代表了6040个MovieLens用户
- Gender 'M'代表男性，'F'代表女性
- Age 年龄的范围如下
- 1： 18岁以下
- 18： 18~24岁
- 25： 25~34岁
- 35： 35~44岁
- 45： 45~49岁
- 50： 50~55岁
- 56： 56岁以上
- Occupation 的范围如下
- 0：其他或者未指定
- 1： 学者/教育行业
- 2：艺术家
- 3： 办事员/行政人员
- 4： 大学生/研究生
- 5：服务业
- 6：医疗医护业
- 7：执行官/管理者
- 8：农民
- 9：家庭主妇
- 10：中小学生
- 11：律师
- 12：程序员
- 13：退休人员
- 14：销售人员/市场人员
- 15：科学家
- 16：自主创业
- 17：技术人员/工程师
- 18：商人/手工工作者
- 19：失业
- 20：作家
- Zip-dode 邮政编码
3、MOVIES 文件描述
打开movies.dat,可以看到以下内容：
其文件格式为：
MovieID::Title::Genres
- MovieID 范围是1到3952，代表了3952部电影
- Title 是电影名称，由IMDB提供，包括了发行年份
- Genres 电影题材由竖线分开，从以下类别中选取
- Action
- Adventure
- Animation
- Children's
- Comedy
- Crime
- Documentary
- Drama
- Fantasy
- Film-Noir
- Horror
- Musical
- Mystery
- Romance
- Sci-Fi
- Thriller
- War
- Western
数据处理
我们使用pandas库来读取和处理数据。
1、读取数据并显示
import pandas as pd
rnames = ["UserID", "MovieID", "Rating", "TimeStamp"]
ratings = pd.read_table("./ml-1m/ratings.dat", sep="::", header=None, names=rnames, engine='python')
print(ratings[:5])
unames = ["UserID", "Gender", "Age", "Occupation", "Zip-code"]
users = pd.read_table("./ml-1m/users.dat", sep="::", header=None, names=unames, engine='python')
print(users[:5])
mnames = ["MovieID", "Title", "Genres"]
movies = pd.read_table("./ml-1m/movies.dat", sep="::", header=None, names=mnames, engine='python')
print(movies[:5])
2、数据合并
根据UserID字段，合并ratings和users集合，代码如下：
data1 = pd.merge(ratings, users, on='UserID')
print(data1[:5])
可以看到这两个数据集根据UserID这一字段进行了合并，形成的新数据集包含了8列。
根据MovieID合并ratings和movies数据集，代码如下：
data2 = pd.merge(ratings, movies, on='MovieID')
print(data2[:5])
3、分组之后选择某一列进行运算
# 将data2以 ’MovieID‘，’Title‘两列进行分组，并计算Rating出现的次数
data3 = data2.groupby(['MovieID', 'Title'], as_index=False)['Rating'].count()
# 将Rating改名为Rating_Count
rating_count_by_movie.columns=['MovieID','Title','Rating_Count']
# 以Rating_Count字段进行降序排序
rating_count_by_movie.sort_values(by=['Rating_Count'],ascending=False,inplace=True)
print(data3[:5])
可以看到，我们只取了合并后的数组的'MovieID'、'Title'两列的元素，并且统计了有多少用户对电影进行了评分，接着按照评分人数进行了降序排序。
4、分组运算方法agg
# 将data2以 ’MovieID‘，’Title‘两列进行分组，并且对Rating这一列的数据计算均值和标准差
rating_stddev = data2.groupby(['MovieID','Title']).agg({'Rating':['mean','std']})
rating_stddev.head(5)
此操作可以计算用户对电影的评分的均值和标准差，然后降序排序，可以在一定程度上反应最受用户喜爱的电影。
5、筛选出指定的列
ratings.dat数据集里面包含了4列，其中最后一列通常不是我们所需要的，可以通过以下代码进行筛选：
ratings_1 = ratings[['UserID','MovieID','Rating']]
print(ratings_1[:5])
6、遍历
对于上述数据，我们可以采用如下方法来逐行遍历：
for idx, row in ratings_1.iterrows():
userid = int(row['UserID'])
movieid = int(row['MovieID'])
rating = int(row['Rating'])
print(userid, movieid, rating)
break
其他的操作可以参考pandas官方文档。
参考
- https://pandas.pydata.org/docs/reference/index.html#api
- https://www.jianshu.com/p/58b1087f12b3