Spark RDD与DataFrame的区别与联系

Spark RDD与DataFrame的区别与联系_第1张图片
区别:
RDD是分布式的java对象的集合,但是对象内部结构对于RDD而言却是不可知的。
DataFrame是一种以RDD为基础的分布式数据集,提供了详细的结构信息,相当于关系数据库中的一张表
联系
1.都是spark平台下的分布式弹性数据集,为处理超大型数据提供便利
2、都有惰性机制,在进行创建、转换,如map方法时,不会立即执行,只有在遇到Action才会运算
3.都会根据spark的内存情况自动缓存运算,这样即使数据量很大,也不用担心会内存溢出
4、三者都有partition的概念
5.三者有许多共同的函数,如filter,排序等

你可能感兴趣的:(笔记)