SparkSQL 学习笔记----Parquet数据源之合并元数据

1、使用场景

如同ProtocolBuffer,Avro,Thrift一样,Parquet也是支持元数据合并的。
用户可以在一开始就定义一个简单的元数据,然后随着业务的需要,逐渐往元数据中添加更多的列。在这种情况下,用户可能会创建多个Parquet文件,有着多个不同的但是却互相兼容的元数据。Parquet数据源支持自动推断出这种情况,并且进行多个Parquet文件的元数据的合并。

2、 开启Parquet数据源的自动合并元数据的特性

因为元数据合并是一种相对耗时的操作,而且在大多数情况下不是一种必要的特性,从Spark1.5.0开始,默认是关闭Parquet文件的自动合并元数据的特性的。
可以通过以下两种方式开启Parquet数据源的自动合并元数据的特性:
1)读取Parquet文件时,将数据源的选项,mergeSchema设置为true
2) 使用SQLContext.setConf()方法,将spark.sql.parquet.mergeSchema参数设置为true

3、合并学生的基本信息和成绩信息的元数据

SparkSQL 学习笔记----Parquet数据源之合并元数据_第1张图片SparkSQL 学习笔记----Parquet数据源之合并元数据_第2张图片
运行结果
在这里插入图片描述
本文为北风网Spark2.0培训视频的学习笔记
视频链接:
https://www.bilibili.com/video/av19995678/?p=110

你可能感兴趣的:(Spark,SQL)