Spark核心知识点

1,RDD的原理:

1,RDD是Spark中最基本的运算模式,它只负责处理运算逻辑,不存储数据本身,通过转化换算子链式的去处理数据,转换算子在执行程序过程中是不加载数据的(算子:scala中的map,flatmap等)在Spark中称为算子,可以处理通过它处理数据。

2,在RDD中最终的数据打印时通过调用,行动算子从前一个hashNext进行调用,最终第一个RDD1去hashNext数据,所以RDD的就是一个封装的迭代器,就是它的真面目,一次次迭代到每个RDD中,当有多次计算时,计算的逻辑会封装在每个计算步骤所在的RDD中,这样就成为了一个个RDD封装包,里面的逻辑就是通过调用上一个HashNext来进行一层层向上寻找逻辑,而每个RDD中都封装了上一个运算的逻辑,这样当一个RDD运算逻辑挂掉后,可以通过下一个运算重新计数,保证了容错性,提高了安全性能。

2,RDD的分区原理:

1,RDD可以根据分片大小,和设置的local的核数大小进行分区并行计算,如local[1],为本地计算机的一个核数,也就是一个分区可以说,local[*]为本地计算机的所有核数,运行速度有所提高。

    

你可能感兴趣的:(spark)