KDD Cup2011
KDD Cup2011 : 雅虎音乐提供的测试数据概况 by 陈运文
Yahoo! Music - Dataset
• 262,810,175 Ratings:
<user id> <item id> <score> <date> <time>
(Training: 252,800,275 Validation: 4,003,960 Test: 6,005,940)
• Users: 1,000,990 Items: 624,961
Time period: 11 years
数据全部是真实的yahoo数据。
音乐样本提供了分类信息，包括以下4种：
• Taxonomy:
– Tracks: 507,172
– Albums: 88,909
– Artists: 27,888
– Genres: 992
但是具体的音乐profile，例如长度、流派、风格等特征没有提供。因此content based推荐方法很难找到突破，这次的比赛应该是以协同过滤（collaborative filtering）、矩阵分解等方法为主，最终多个predictor组合的方式。traxonomy作为补充的特征，可以在blend的时候起一些辅助的作用。
Two tracks:
– Track 1: minimize squared error on given ratings
– Track 2: separate highly rated items from never rated items
Generalize models to items never rated by the users
• Very large number of items (over 600K)
• Employ hierarchical relations (taxonomy) between
items
• Accurate timestamps of ratings; facilitates session analysis
个人认为，KDD Cup 2011这次的比赛中，时间因素要特别关注，用户对music的评分，随时间的变化应该是能找到规律的，这些规律对最终的评分预测会有不小的影响。是否能把握准time bias，会成为最终的胜负手。
协同过滤在这次比赛中应该占有非常重要的作用。从数据特征来看，item-based collaborative filtering会比user-based CF更适合。item之间的nearest neighbor计算，可以找出很多不同的思路。
另外，从Netflix比赛胜者的经验来看，当时矩阵分解的方法有相当明显的优势，因此SVD和对应的众多改进方案是必不可少的。SVD通常用在显式的用户评分matrix上，对这次比赛来说，如何建立一个更合理的score matrix，应该也会显著的影响最终的评分
另外，RMSE这种评价方案，估计更倾向于多个推荐系统combine的算法，这个需要套用很多现有的组合框架了