day15 RDD 内幕解析

本文整理自大数据梦工厂：http://weibo.com/ilovepains

实现计算2数和

object RDDBaseOnCollection {
    def  main (args: Array[String]) {

      val conf = new SparkConf()
      conf.setAppName("....RDDBaseon Collection")
      conf.setMaster("local")
    
      val readDatas = sc.textFile("")
      val datas = 1 to 100
      val numbers = sc.parallelize(datas).reduce(_+_)
      println("........"+numbers)
  }
}

32 个core 32个Task，
spark 会最大的利用core
并行度设置：每个core 可以设置2-4个Partition
ParallelCollectionRDD