Spark RDD如何作为参数传递给函数

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/lzw2016/article/details/87194205
示例如下，给出的是分组topN问题的解法，把RDD作为函数参数传入

//分组TopN
  def groupTopN(data: RDD[String],n:Int): RDD[(String,List[Int])] = {
    //先不考虑其他的
    //分组后类似 (t003,（19,1090,190,109）)
    val groupParis = data.map { x => 
      (x.split(" ")(0), x.split(" ")(1).toInt) 
      }.groupByKey()
    val sortedData = groupParis.map(x=>
      {
        //分组后，排序（默认升序），再倒序去前n
        val sortedLists = x._2.toList.sorted.reverse.take(n)
        (x._1,sortedLists)
      })
    sortedData
  }

关键是知道传入rdd的类型以及要返回值的类型，如果有编辑器就很简单，知道自己要返回什么，然后拿鼠标移到这个值上方就会显示它的类型

其次是要导入import org.apache.spark.rdd._

更多内容可见Spark学习项目：https://github.com/josonle/Learning-Spark

---

其次厚脸皮推荐一个总结归纳的项目吧，面向Linux学习、大数据、机器学习、数据分析、算法等，欢迎前往推荐更多资源： Coding-Now

学习记录的一些笔记，以及所看得一些电子书eBooks、视频资源和平常收纳的一些自己认为比较好的博客、网站、工具