浅谈一个新人的大数据之路-ORC篇

CCCCCold丶大数据之禅

  • ORCFile原理
    • TEXTFile
    • 普通列式存储
    • RCFile
    • ORCFile

ORCFile原理

ORCFile是什么?
ORC的全称是(Optimized Row Columnar),ORC文件格式是一种Hadoop生态圈中的列式存储格式。
ORCFile作用
用于降低Hadoop数据存储空间和加速Hive查询速度。
ORCFile演变史
TEXTFile -> 列式存储 -> RCFile ->ORCFile

本文会从最基本TEXTFile行式存储讲起,逐步加深对ORCFile存储原理的理解

TEXTFile

Hadoop默认文件存储格式,读取未压缩的TEXTFile文件不涉及到MapReduce
存储方式: 行式存储
逻辑视图:
浅谈一个新人的大数据之路-ORC篇_第1张图片
我们想查询第二列第九行的数据,查询HQL为:
SELECT col2 FROM table WHERE row = 'row_9';
这条Hive SQL转换为相应的MapReduce程序执行时,虽然我们仅仅只需要查询该表的第2列数据即可得出结果,但因为我们使用的是TextFile存储格式,不得不读取整张数据表的数据参与计算。虽然我们可以使用一些压缩机制优化存储,减少读取的数据量,但效果通常不显著,而且毕竟读取了很多无用的数据(col1、col3)。

普通列式存储

逻辑视图:

浅谈一个新人的大数据之路-ORC篇_第2张图片
优点:
查询某列时,只会扫描对应HDFS数据块
缺点:
有时候存在一个表的有些列不在同一个HDFS块上,所以在查询的时候,Hive重组列的过程会浪费很多IO开销。

RCFile

RCFile全称Record Columnar File,列式记录文件,是一种类似于SequenceFile的键值对(Key/Value Pairs)数据文件。

RCFile文件格式是FaceBook开源的一种Hive的文件存储格式,首先将表分为几个行组,对每个行组内的数据进行按列存储,每一列的数据都是分开存储,正是先水平划分,再垂直划分的理念。

关键词:Record、Columnar、Key、Value。

1、水平划分
浅谈一个新人的大数据之路-ORC篇_第3张图片
经过水平划分之后的各个数据块称之为Row Split或Record。

2、垂直划分
浅谈一个新人的大数据之路-ORC篇_第4张图片
每一个Row Split或Record再按照“列”进行垂直划分。

3、列式存储
浅谈一个新人的大数据之路-ORC篇_第5张图片
RCFile以Record为单位进行存储。

Record存储数据时,首先存储该Record内第一列的全部数据、然后存储该Record内第二列的全部数据、…、依次将各列数据存储完毕,然后继续下一个Record的存储。

Record实际由Key、Value两部分组成,其中Key保存着Record的元数据,如列数、每列数据的长度、每列数据中各个列值的长度等;Value保存着Record各列的数据。实际上Record Key相当于Record的索引,利用它可以轻松的实现Record内部读取/过滤某些列的操作。

在数据上:
RCFile将每一行,存储为一列,将一列存储为一行,因为当表很大,我们的字段很多的时候,我们往往只需要取出固定的一列就可以。

而且RCFile将“行式”存储变为“列式”存储,相似的数据以更高的可能性被聚集在一起,压缩效果更好。

在存储结构上:
RCFile首先对表进行行划分,分成多个行组。一个行组主要包括:16字节的HDFS同步块信息,主要是为了区分一个HDFS块上的相邻行组;元数据的头部信息主要包括该行组内的存储的行数、列的字段信息等等;

RCFile由于相同的列都是在一个HDFS块上,所以相对列存储而言会节省很多资源。

在存储空间上:
RCFile采用游程编码,相同的数据不会重复存储,很大程度上节约了存储空间,尤其是字段中包含大量重复数据的时候。

懒加载:
数据存储到表中都是压缩的数据,Hive读取数据的时候会对其进行解压缩,但是会针对特定的查询跳过不需要的列,这样也就省去了无用的列解压缩。

SELECT col2 FROM table WHERE col3 > 1;

针对行组来说,会对一个行组的col3列进行解压缩,如果当前列中有col3 > 1的值,然后才去解压缩col2。若当前行组中不存在col3 > 1的列,那就不用解压缩col2,从而跳过整个行组。

RCFile逻辑视图:
浅谈一个新人的大数据之路-ORC篇_第6张图片

ORCFile

ORC (Optimized Record Columnar)是RC File 的改进(优化),主要在压缩编码、查询性能上进行了升级。在ORC格式的hive表中,记录首先会被横向的切分为多个stripes,然后在每一个stripe内数据以列为单位进行存储,所有列的内容都保存在同一个文件中。

相对于RCFile,ORCFile有如下几点好处:

  1. 每个task只生成一个文件,减轻hdfs压力
  2. 存列类型,支持datetime, decimal和负责类型(struct, list, map, and union)
  3. 文件中保存轻量级索引【跳过不需的row group,seek到指定的row】
  4. 根据列类型进行压缩【整数类型:run-length encoding,string类型:dictionary encoding】
  5. 不同的recordReader并发读同一文件
  6. split时,无需扫描标记
  7. 可以限制读写占用的内存
  8. 使用pb存放元数据,支持添加和移除列
  9. ORCFile stripe默认的大小是250MB,相对于RCFile默认的行组大小是4MB,所以比RCFile更高效

相较于行式存储优点:

  1. 查询的时候不需要扫描全部的数据,而只需要读取每次查询涉及的列,这样可以将I/O消耗降低N倍,另外可以保存每一列的统计信息(min、max、sum等),实现部分的谓词下推
  2. 由于每一列的成员都是同构的,可以针对不同的数据类型使用更高效的数据压缩算法,进一步减小I/O
  3. 由于每一列的成员的同构性,可以使用更加适合CPU pipeline的编码方式,减小CPU的缓存失效

逻辑视图:
浅谈一个新人的大数据之路-ORC篇_第7张图片
逻辑视图划分:
浅谈一个新人的大数据之路-ORC篇_第8张图片
物理视图划分:
浅谈一个新人的大数据之路-ORC篇_第9张图片

Postscripts:存储该表的行数,压缩参数,压缩大小,列等信息
Stripe Footer:包含该stripe的统计结果,包括Max,Min,count等信息
FileFooter中:包含该表的统计结果,以及各个Stripe的位置信息
IndexData:保存了该stripe上数据的位置信息,总行数等信息
RowData:以stream的形式保存了数据的具体信息

新版本的Hive中提供了更详细的查看ORC文件信息的工具 orcfiledump。

执行命令:./hive –orcfiledump -j -p /hivedata/warehouse2/lxw1234_orc1/000000_0
(⊙o⊙)… 我在Hive2.0版本无法使用该命令,有兴趣自己尝试,会以JSON形式返回ORC表的元数据
浅谈一个新人的大数据之路-ORC篇_第10张图片
ORCFile在存储上的必杀器,必考题:

  1. ORCFile引入字典编码,最后存储的数据便是字典中的值,每个字典值得长度以及字段在字典中的位置。
  2. ORCFile扩展了RCFile的压缩,Run-length(游程编码),压缩重复数据。
  3. ORCFile引入Bit编码,对所有字段都采用Bit编码来判断该列是否为null,如果为null则Bit值存为0,否则存为1,对于为null的字段在实际编码的时候不需要存储,也就是说字段若为null,是不占用存储空间的。

采用ORC格式存储数据,空值一定用NULL存储,不要存’’(空字符串)

东扯西扯了一大堆,从TEXTFile到ORCFile,整个串下来详细讲解了ORC存储原理,下面引用几个报告,比较一下ORCFile相对传统文件格式优势

不同文件格式逻辑视图比较:
浅谈一个新人的大数据之路-ORC篇_第11张图片
ORCFile存储优势(引用报告):
浅谈一个新人的大数据之路-ORC篇_第12张图片
查询优势(引用报告):

在查询方面,ORC+Snappy 相比Text+LZO 查询效率可提升70%左右,针对宽表的查询,查询字段越少,其查询效率越高。

ORC标准建表语句:

create external table app_jdw_jmart_zbinfo_test_test(
capacity_all float comment '数据总容量',
deal_data_dt float comment '日处理数据量',
add_data_dt float comment '日新增数据量',
add_job_dt float comment '日运行job数',
machine_num int comment '平台总机器数',
corejob_avgtime string comment '核心任务平均运行时长')
PARTITIONED BY ( week_nm string,dt string )
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' (列分隔符)
NULL DEFINED AS "" (空值展示为"")
STORED AS ORC (存储格式为ORC,不可少)
LOCATION '*************' (指定表的location)
tblproperties ('orc.compress'='SNAPPY'); (ORC压缩格式为SNAPPY)

参考:
https://blog.csdn.net/u011596455/article/details/76648571
https://blog.csdn.net/u014307117/article/details/52381383
https://www.cnblogs.com/ITtangtang/p/7677912.html
http://lxw1234.com/archives/2016/04/630.htm

人生苦短,我用Python,CCCCCold的大数据之禅

你可能感兴趣的:(大数据之禅)