大数据学习笔记(十)-Hive中的Storage format

1.Storage format
行存储:SEQUENCEFILE、TEXTFILE
列存储:ORC、PARQUET、AVRO
行列混合存储:RCFILE、
2.行存储VS列存储
行式存储:
①一行数据一定在一个block里
②一行数据类型混杂,不容易获得很好的压缩比
③不能支持快速查询

列式存储:
①一行数据不一定在一个block里
②查询时能够避免读取不必要的列
③每一列存储数据类型相同,可以针对列选择压缩方式,能够达到较高的压缩比
④重构(如select *)

列式存储与行式存储的对比优势
减少磁盘IO
存储空间
查询性能:向矢量查询(vectorized query)
predicate pushdown(谓词下推)

SeqFile对比TextFile 存储大小 查询效率
SeqFile 大(要存key长度,value长度,sync等信息) 好(应为有key长度,value长度等信息所以可以快速定位key或者value并读取)
TextFile 小 差(需要反复读直到遇到分隔符)
RCFile节省空间有限(比TextFile节省10%左右),性能不如SeqFile
ORC( Optimized Row Columnar):压缩比很高
关于ORC压缩的详细描述文章:https://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/
Parquet(高效的列式存储)

你可能感兴趣的:(大数据)