RDD、DataFrame、DataSet 的对比

Type	RDD	DataFrame	DataSet
定义	RDD是分布式的Java对象的集合	DataFrame是分布式的Row对象的集合	DataSet是分布式Java对象的集合ds = df.as[ElementType]df = Dataset[Row]
优点	编译时类型安全、面向对象的编程风格	引入schema结构信息、减少数据读取、优化执行计划，如filter下推，剪裁off-heap堆外存储	** Encoder序列化、支持结构与非结构化数据、和rdd一样，支持自定义对象存储、和dataframe一样，支持结构化数据的sql查询、采用堆外内存存储，gc友好、类型转化安全，代码友好**
缺点	对于结构化数据不友好、默认采用的是java序列化方式，序列化结果比较大，而且数据存储在java堆内存中，导致gc比较频繁	rdd内部数据直接以java对象存储，dataframe内存存储的是Row对象而不能是自定义对象、编译时不能类型转化安全检查，运行时才能确定是否有问题	可能需要额外定义Encoder