scala开发spark使用程序中的集合创建RDD

package cn.spark.study.core

import org.apache.spark.{SparkConf, SparkContext}


object ParallelizeCollection {
  def main(args: Array[String]): Unit = {

    //创建conf对象
    val conf = new SparkConf()
      .setAppName("ParallelizeCollection")
      .setMaster("local")
    val sc = new SparkContext(conf)

    val numbers = Array(1,2,3,4,5,6,7,8,9)
    
    //要通过并行化集合方式创建RDD,那么就调用SparkContext以及其子类的parallelize()的方法
    val numberRDD = sc.parallelize(numbers,5)
    var sum = numberRDD.reduce(_+_)
    println(sum)
  }


}

你可能感兴趣的:(总结)