SparkRDD之弹性分布式数据集RDD

2.RDD概述
2.1什么是RDD

RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中,后续的查询能够重用这些数据,这极大地提升了查询速度。

Dataset:一个数据集合,用于存放数据的。

Distributed:RDD中的数据是分布式存储的,可用于分布式计算。

Resilient:RDD中的数据可以存储在内存中或者磁盘中。

2.2RDD的属性

SparkRDD之弹性分布式数据集RDD_第1张图片

1) A list of partiti

你可能感兴趣的:(技术文章,SparkRDD,弹性分布式数据集RDD)