spark_3：spark的基础

RDD

• 可被切分
• 由一个函数计算每一个分片
• 对其他的RDD依赖
• 可选：key-value的rdd是根据hash来分区的，类似于partitioner接口

RDD计算模式

• Iterative Algorithms
• Relational Queries
• MapRdecue
• Streaming

RDD的四个核心方法

• getPartitions： 返回一系列partitions集合
• getDependencies：表达RDD之间的依赖关系
• compute：针对每个partition计算
• getPreferredLocation：寻找partions的位置
• 可选的分区策略，默认分区是HashPartitioner

spark计算代码

• 生成RDD

val rdd=sc.parallelize(list(1,2,3,4,5))

• filter

val filterRDD=mappedRDD.filter(_ > 4)
filterRDD.collect

• cache
  *count

val vordcount=rdd.flatMap(_.split(' ')).map(_,1).reduceByKey(_+_)
wordcount.saveAsTextFile('/data/test')

• sort

val wc=rdd.flatmap(_.split('')).map(_,1).reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey().map(x=>(x._2,x._1))

• union
• groupByKey

RDD计算模型

http://blog.csdn.net/dc_726/article/details/41381791

• 创建RDD对象，
• DAG调度器创建执行计划，

• Task调度器分配任务并调度Worker开始运行。

• Driver

  1. RDD依赖分析，生成RDD
  2. 生成DAG，将job划分为不同的stage(宽窄依赖)
  3. stage生成task，发送到Executor