spark深度学习例子音乐推荐代码

object MusicRecommend {
    def musicRecommend()={
        val conf = new SparkConf().setAppName("musicRecommend")
        val sc = new SparkContext(conf)
//      处理艺术家数据 
        val rawArtistData = sc.textFile("ds/artist", 4)
//      由于文件存在非法行 不是用\t分割的
        /*val aritstByID = rawArtistData.map{ l => 
            val (id,name) = l.span(_ != "\t")
            (id.toInt,name.trim())  
        }*/

        val artistByID = rawArtistData.flatMap{line =>
            val (id,name) = line.span(_ != '\t')    
            if(name.isEmpty()) None
            else 
                try{
                    Some((id.toInt,name.trim()))
                }catch{
                    case e :Exception => None
                }
        }
//      处理艺术家别名数据
        val rawArtistAlias = sc.textFile("ds/alias")
        val artistAlias = rawArtistAlias.flatMap{ line =>
            val tokens=line.trim().split("\\s+")
            if(tokens.length != 2){
                None
            }else{
                Some((tokens(0).toInt,tokens(1).toInt))
            }
        }.collectAsMap()
//      这里使用广播变量,spark执行一个stage阶段时,会为执行函数建立一个闭包，
//      也就是所有任务需要的信息的2进制形式。闭包包含了函数引用的所有数据结构。
//      spark把这个闭包发送到集群上每个executor上.
//      当许多任务使用同一个不可变的数据结构时，我们应该使用广播变量。
//      好处是可以在多个作业和阶段stage之间缓存数据
        val bArtistAlias = sc.broadcast(artistAlias)
//      处理用户收听记录
        val rawUserArtistData = sc.textFile("ds/user*")
//      生成训练数据
        val trainData = rawUserArtistData.map{ line =>
            val Array(userID,artistID,count) = line.split("\\s+").map(_.toInt)
            val finalArtistID=bArtistAlias.value.getOrElse(artistID, artistID)
            Rating(userID,finalArtistID,count)
        }.cache()
//      使用训练数据进行训练
//      MatrixFactorizationModel 其他的参数都是超参数 其值直接影响到最终结果
        val model = ALS.trainImplicit(trainData, 10, 5, 0.01, 1.0)
//      检查推荐结果是否合理
        val userId = 2093760
        val rcNum = 5
//      1.获取用户2093760的数据
        val rawArtistsForUser = rawUserArtistData.map(_.split("\\s+"))
            .filter{case Array(user,_,_) => user.toInt == userId}
//      2.获取用户2093760感兴趣的艺术家集
        val existingProducts = rawArtistsForUser.map {case Array(_,artist,_) => artist.toInt}
            .collect.toSet
//      3.找到该艺术家对应的名称，并打印
        artistByID.filter{case (id,name) =>
                    existingProducts.contains(id)
            }.values.collect.foreach(println)
//      获取该用户的几个推荐结果
        val recommendations = model.recommendProducts(userId, rcNum)
//      打印推荐结果
        recommendations.foreach(println)
//      结果构成Rating(userid,artistID,rating)rating表示一个数值，其值越接近1表示推荐结果越好

    }
}