Cube的构建过程

为什么80%的码农都做不了架构师？>>>   

Cube 的构建方式有两种：全量构建和增量构建。两者的构建过程完全一样，区别在于构建时读取的数据源是全集还是子集。

Cube的构建步骤：

1.创建临时的 Hive 平表（从 Hive 读取数据）。

2.计算各维度的不同值，并收集各 Cuboid 的统计数据。

3.创建并保存字典。

4.保存Cuboid统计信息。

5.创建HTable。

6.计算Cube(一轮或若干轮MapReduce)

7.将Cube的计算结果转成HFile。

8.加载HFile到HBase。

9.更新Cube元数据。

10.垃圾回收。

转载于:https://my.oschina.net/134596/blog/1834603