离线轻量级大数据平台Spark之MLib机器学习协同过滤ALS实例

1、协同过滤

协同过滤（Collaborative Filtering，简称CF，WIKI上的定义是：简单来说是利用某个兴趣相投、拥有共同经验之群体的喜好来推荐感兴趣的资讯给使用者，个人透过合作的机制给予资讯相当程度的回应（如评分）并记录下来以达到过滤的目的，进而帮助别人筛选资讯，回应不一定局限于特别感兴趣的，特别不感兴趣资讯的纪录也相当重要。
协同过滤常被应用于推荐系统。这些技术旨在补充用户—商品关联矩阵中所缺失的部分。
MLlib 当前支持基于模型的协同过滤，其中用户和商品通过一小组隐性因子进行表达，并且这些因子也用于预测缺失的元素。MLLib 使用交替最小二乘法（ALS） 来学习这些隐性因子。
用户对物品或者信息的偏好，根据应用本身的不同，可能包括用户对物品的评分、用户查看物品的记录、用户的购买记录等。其实这些用户的偏好信息可以分为两类：
l  显式的用户反馈：这类是用户在网站上自然浏览或者使用网站以外，显式地提供反馈信息，例如用户对物品的评分或者对物品的评论。
l  隐式的用户反馈：这类是用户在使用网站是产生的数据，隐式地反映了用户对物品的喜好，例如用户购买了某物品，用户查看了某物品的信息，等等。
显式的用户反馈能准确地反映用户对物品的真实喜好，但需要用户付出额外的代价；而隐式的用户行为，通过一些分析和处理，也能反映用户的喜好，只是数据不是很精确，有些行为的分析存在较大的噪音。但只要选择正确的行为特征，隐式的用户反馈也能得到很好的效果，只是行为特征的选择可能在不同的应用中有很大的不同，例如在电子商务的网站上，购买行为其实就是一个能很好表现用户喜好的隐式反馈。
推荐引擎根据不同的推荐机制可能用到数据源中的一部分，然后根据这些数据，分析出一定的规则或者直接对用户对其他物品的喜好进行预测计算。这样推荐引擎可以在用户进入时给他推荐他可能感兴趣的物品。

2、Java开发ALS实例

实例中使用电影评分数据，字段信息包括用户编号：电影编号：评分：评分时间戳。
见spark-2.0.1-bin-hadoop2.7/data/mllib/als/ sample_movielens_ratings.txt
Java开发上，引入spark-mllib_2.11-2.0.1.jar、spark-mllib-local_2.11-2.0.1.jar、spark-catalyst_2.11-2.0.1.jar。
参考spark的example案例的代码，输出skals.jar包并提交执行。
bin/spark-submit --class sk.mlib.ALSDemo --master local /tmp/skals.jar

代码如下：

package sk.mlib;

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

import java.io.Serializable;

import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.ml.evaluation.RegressionEvaluator;
import org.apache.spark.ml.recommendation.ALS;
import org.apache.spark.ml.recommendation.ALSModel;


public class ALSDemo {
	
	public static class Rating implements Serializable {
	    private int userId;
	    private int movieId;
	    private float rating;
	    private long timestamp;

	    public Rating() {}

	    public Rating(int userId, int movieId, float rating, long timestamp) {
	      this.userId = userId;
	      this.movieId = movieId;
	      this.rating = rating;
	      this.timestamp = timestamp;
	    }

	    public int getUserId() {
	      return userId;
	    }

	    public int getMovieId() {
	      return movieId;
	    }

	    public float getRating() {
	      return rating;
	    }

	    public long getTimestamp() {
	      return timestamp;
	    }

	    public static Rating parseRating(String str) {
	      String[] fields = str.split("::");
	      if (fields.length != 4) {
	        throw new IllegalArgumentException("Each line must contain 4 fields");
	      }
	      int userId = Integer.parseInt(fields[0]);
	      int movieId = Integer.parseInt(fields[1]);
	      float rating = Float.parseFloat(fields[2]);
	      long timestamp = Long.parseLong(fields[3]);
	      return new Rating(userId, movieId, rating, timestamp);
	    }
	  }

	  public static void main(String[] args) {
	    SparkSession spark = SparkSession.builder().appName("ALSDemo").getOrCreate();

	    JavaRDD<Rating> ratingsRDD = spark
	      .read().textFile("/tmp/sample_movielens_ratings.txt").javaRDD()
	      .map(new Function<String, Rating>() {
	        public Rating call(String str) {
	          return Rating.parseRating(str);
	        }
	      });
	    Dataset<Row> ratings = spark.createDataFrame(ratingsRDD, Rating.class);
	    Dataset<Row>[] splits = ratings.randomSplit(new double[]{0.8, 0.2});//8成做训练样本，2成做测试样本
	    Dataset<Row> training = splits[0];
	    Dataset<Row> test = splits[1];

	    // Build the recommendation model using ALS on the training data
	    ALS als = new ALS().setMaxIter(5).setRegParam(0.01).setUserCol("userId").setItemCol("movieId").setRatingCol("rating");
	    ALSModel model = als.fit(training);
	    // Evaluate the model by computing the RMSE on the test data
	    Dataset<Row> predictions = model.transform(test);

	    RegressionEvaluator evaluator = new RegressionEvaluator()
	      .setMetricName("rmse")
	      .setLabelCol("rating")
	      .setPredictionCol("prediction");
	    Double rmse = evaluator.evaluate(predictions);
	    System.out.println("Root-mean-square error = " + rmse);

	    spark.stop();
	  }
}
/*
 * 执行结果：
 * Root-mean-square error = 1.7215462865151776
 */

对Spark平台MLib库通过三个实例初步了解和掌握，主要还是对算法本身有掌握，才能明确实际场景需要用到的算法。