Hive存储格式对比

Apache Hive支持Apache Hadoop中使用的几种熟悉的文件格式，如TextFile，RCFile，SequenceFile，AVRO，ORC和Parquet格式。Cloudera Impala也支持这些文件格式。 在建表时使用STORED AS (TextFile|RCFile|SequenceFile|AVRO|ORC|Parquet)来指定存储格式。

TextFile每一行都是一条记录，每行都以换行符（\ n）结尾。数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使用（系统自动检查，执行查询时自动解压），但使用这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。

SequenceFile是Hadoop API提供的一种二进制文件支持，其具有使用方便、可分割、可压缩的特点。支持三种压缩选择：NONE, RECORD, BLOCK。 Record压缩率低，一般建议使用BLOCK压缩。

RCFile是一种行列存储相结合的存储方式。首先，其将数据按行分块，保证同一个record在一个块上，避免读一个记录需要读取多个block。其次，块数据列式存储，有利于数据压缩和快速的列存取。

AVRO是开源项目，为Hadoop提供数据序列化和数据交换服务。您可以在Hadoop生态系统和以任何编程语言编写的程序之间交换数据。Avro是基于大数据Hadoop的应用程序中流行的文件格式之一。

ORC文件代表了优化排柱状的文件格式。ORC文件格式提供了一种将数据存储在Hive表中的高效方法。这个文件系统实际上是为了克服其他Hive文件格式的限制而设计的。Hive从大型表读取，写入和处理数据时，使用ORC文件可以提高性能。

Parquet是一个面向列的二进制文件格式。Parquet对于大型查询的类型是高效的。对于扫描特定表格中的特定列的查询，Parquet特别有用。Parquet桌子使用压缩Snappy，gzip;目前Snappy默认。

 

存储格式对比

存储格式	存储方式	特点
TextFile	行存储	存储空间消耗比较大，并且压缩的text 无法分割和合并 查询的效率最低,可以直接存储，加载数据的速度最高
SequenceFile	行存储	存储空间消耗最大,压缩的文件可以分割和合并 查询效率高，需要通过text文件转化来加载
RCFile	数据按行分块 每块按照列存储	存储空间最小， 查询的效率最高 ， 需要通过text文件转化来加载， 加载的速度最低。 压缩快 快速列存取。 读记录尽量涉及到的block最少  读取需要的列只需要读取每个row group 的头部定义。  读取全量数据的操作 性能可能比sequencefile没有明显的优势
ORCFile	数据按行分块 每块按照列存储	压缩快,快速列存取 ,效率比rcfile高,是rcfile的改良版本
Parquet	列存储	相对于PRC，Parquet压缩比较低，查询效率较低，不支持update、insert和ACID.但是Parquet支持Impala查询引擎

 

Parquet与ORC对比

	Parquet http://parquet.apache.org	Orc http://orc.apache.org
发展状态	目前都是Apache开源的顶级项目，列式存储引擎	目前都是Apache开源的顶级项目，列式存储引擎
开发语言	Java	Java
主导公司	Twitter/Cloudera	Hortonworks
ACID	不支持	支持ACID事务
修改操作(update,delete)	不支持	支持
支持索引(统计信息)	粗粒度索引 block/group/chunk级别统计信息	粗粒度索引 file/stripe/row级别统计信息， 不能精确到列建立索引
支持的查询引擎	Apache Drill、Impala	Apache Hive
查询性能	Orc性能更高一点	Orc性能更高一点
压缩比	Orc压缩比更高(见下图)	Orc压缩比更高(见下图)
列编码	支持多种编码，字典，RLE，Delta等	支持主流编码，与Parquet类似

 

总结：如果仅仅是在HIve中存储和查询，建议使用ORC格式，如果在Hive中存储，而使用Impala查询，建议使用Parquet。

参考资料：

https://www.waitig.com/hive%E7%AC%94%E8%AE%B0%E6%95%B4%E7%90%86%E4%B9%8B-%E6%96%87%E4%BB%B6%E5%AD%98%E5%82%A8%E6%A0%BC%E5%BC%8F.html

http://46aae4d1e2371e4aa769798941cef698.devproxy.yunshipei.com/jiangshouzhuang/article/details/51416744

http://46aae4d1e2371e4aa769798941cef698.devproxy.yunshipei.com/jiangshouzhuang/article/details/51416744