day63-Spark SQL下Parquet内幕深度解密
ＤＴ大数据梦工厂联系方式：
新浪微博：www.weibo.com/ilovepains/
微信公众号：DT_Spark
博客：http://.blog.sina.com.cn/ilovepains
一：sparkSQL 下的Parquet意义再思考
存储空间包括：内存和磁盘，计算方面
如果说HDFS是大数据时代分布式文件系统存储的事实标准的话，parquet则是整个大数据时代文件存储格式的事实标准。
1、 速度更快：使用SparkSQL 操作普通文件CSV和ParQuet文件的速度比对上来看，绝大多数情况下使用parQuet会比使用cvs等普通文件块10被左右（在一些普通文件系统无法在Spark上成功运行程序的情况下，使用paquet很多情况下都可以运行成功）
2、Parquet的压缩技术非诚稳定出色，在sparkSql中对压缩技术的处理可能无法正常的完成工作（例如Lost task， Lost Executor），但是此时如果使用parquest就可以正常的完成。
3、极大的减少磁盘IO，通常情况下能减少75%的存储空间，由此可以极大的减少sparkSQL 处理数据的时候的数据出入内容，尤其在spark1.6.x 中推出过滤器，在一些情况下可以极大的进一步减少磁盘的IO和内存的占用。（例如）
4、Spark1.6.x+ Parquet极大的提升了数据扫描的吞吐量，这极大的提高了数据查询速度。
Spark1.6.x 和spark1.5.x相比较而言提升了大约1倍的速度，在spark1.6.x中操作Parquet的时候CPU的使用也进行了极大的优化，有效的降低了CPU的使用。
5、可以极大的优化Spark的调度和执行。测试如果spark采用parquet可以有效的减少Stage的执行消耗，同时可以优化执行路径：
二：SparkSQL 下的parquet内幕
1、 列式存储是以什么基础格式来存储数据的？表现上是树状数据结构，在内部有元数据的Table
2、 在具体的Parquet文件存储的时候有3个核心组成部分：
a) StorageFormat: Parquest定义了具体的数据内部的类型和存储格式
b) ObjectModel ConVerters： Parquet中负责计算框架中数据对象和Parquet文件中具体数据类型的映射
c) ObjectModels： 在parquet中具有自己的Object Model定义的存储格式例如说：Avro具有自己的Object Model，但是
3、
4、 举例说明
messageAddressBook {
required stringowner;
repeated stringownerPhoneNumbers;
repeated groupcontacts {
required string name; optional stringphoneNumber; }
}
required（出现1次），optional（出现0次或者1次），repeated（出现0次或者多次）
这个schema中每条记录表示一个人的AddressBook。有且只有一个owner，owner可以有0个或者多个ownerPhoneNumbers，owner可以有0个或者多个contacts。每个contact有且只有一个name，这个contact的phoneNumber可有可无。
第一点：就存储数据本身而言，只考虑叶子节点，，我们的叶子节点owner、ownerPhoneNumber、name、phoneNumber
第二点：schema实际上是一个Table
| AddressBook |
|||
| Owner |
ownerPhoneNumber |
|
|
|
|
|
|
|
第三点：对于Parquet文件而言，数据会被分成RowGroup（里面包含很多Column，每个Column有几个非常重要的特性例如RepatitionLevel，Definition Level）
第四点： column在parquet中是以page的方式存在的，Page中有RepatitionLevel，Definition Level等内容。
第五点： RowGroup在Parquet中是数据读写的缓存单元,所以对Rowgroup的设置会极大的影响parQuet的使用速度和效率，所以如果是分析日志的话，我们一般建议把Row group的缓存大小配置成大于256M很多人的配置都是大于1G，如果想带来最大化的运行效率强烈建议HDFS的Block大小和RowGroup一致。
第六点：在实际存储的把一个树状结构，通过巧妙的编码算法转换成二维码结构：
SparkSQL 将parquet作为内存默认的存储格式，
列式存储每一个列跟其他数据没有关系
查询引擎: Hive, Impala, Pig, Presto, Drill, Tajo, HAWQ, IBM BigSQL
计算框架: MapReduce, Spark, Cascading, Crunch, Scalding,Kite
数据模型: Avro, Thrift, Protocol Buffers, POJOs