Spark学习三：Spark Schedule以及idea的安装和导入源码

Spark学习三：Spark Schedule以及idea的安装和导入源码

标签（空格分隔）： Spark

一，RDD操作过程中的数据位置

[hadoop001@xingyunfei001 spark-1.3.0-bin-2.5.0]$ bin/spark-shell --master local[2]

val rdd = sc.textFile(“xx”, 2)
rdd.flatMap(.split(“\t”)).map((, 1)).reduceByKey((_ + _)).saveAsTextFile

Stage-01
part-01 -> Task-01 : rdd.flatMap(.split(“\t”)).map((, 1)).reduce
part-02 -> Task-02 ：rdd.flatMap(.split(“\t”)).map((, 1)).reduce
Stage-02
part-01 -> Task-01 ：ByKey((_ + _)).saveAsTextFile
part-02 -> Task-02 ：ByKey((_ + _)).saveAsTextFile

rdd.cache

二，Spark Schedule

三，Idea导入spark源码

1，bin/idea.sh打开idea（进入时进度条点击取消）

2，集成maven

3,导入源代码