movieslens数据集简介
原创：石晓文
1、数据集简介
MovieLens数据集包含多个用户对多部电影的评级数据，也包括电影元数据信息和用户属性信息。
这个数据集经常用来做推荐系统，机器学习算法的测试数据集。尤其在推荐系统领域，很多著名论文都是基于这个数据集的。(PS: 它是某次具有历史意义的推荐系统竞赛所用的数据集)。
下载地址为：http://files.grouplens.org/datasets/movielens/，有好几种版本，对应不同数据量，本文所用的数据为1M的数据。
2、数据介绍
1m的数据解压后，可以看到四个主要的csv文件，分别是links.csv,movies.csv,ratings.csv,tags.csv。links介绍了该数据集中的movieId和imdb、tmdb中电影的对应关系。tags是用户的打标签数据。本文的介绍主要基于ratings.csv 和 movies.csv
ratings数据
文件里面的内容包含了每一个用户对于每一部电影的评分。数据格式如下：
userId, movieId, rating, timestamp
userId: 每个用户的id
movieId: 每部电影的id
rating: 用户评分，是5星制，按半颗星的规模递增(0.5 stars - 5 stars)
timestamp: 自1970年1月1日零点后到用户提交评价的时间的秒数
数据排序的顺序按照userId，movieId排列的。
我们用pandans观察数据的描述及前五行：
-
ratings = pd.read_csv('../data/ml-1m/ratings.csv',index_col=None)
-
ratings.describe()
-
ratings.head(5)
-
输出为：
movies数据
文件里包含了一部电影的id和标题，以及该电影的类别。数据格式如下：
movieId, title, genres
movieId:每部电影的id
title:电影的标题
genres:电影的类别（详细分类见readme.txt）
我们用pandans观察数据的前五行：
-
movies = pd.read_csv('../data/ml-1m/movies.csv',index_col=None)
-
movies.head(5)
-
输出为：
合并数据集
我们可以根据movieId来合并两个数据集
data = pd.merge(ratings,movies,on='movieId')
汇总每部电影的评分数量
合并数据集之后，我们可以看一下每部电影的评分数量，并按照降序进行排序：
-
rating_count_by_movie = data.groupby(['movieId','title'],as_index=False)['rating'].count()
-
rating_count_by_movie.columns=['movieId','title','rating_count']
-
rating_count_by_movie.sort_values(by=['rating_count'],ascending=False,inplace=True)
-
rating_count_by_movie[:10]
-
输出为：
得到打分的平均值及方差
-
rating_stddev = data.groupby([
'movieId',
'title']).agg({
'rating':[
'mean',
'std']})
-
rating_stddev.head(10)
输出为：
本文就先介绍到这里吧！