kylin cube segment合并

一、segment

        cube的计算是将每天的数据作为一个segment进行存储,一个segment对应hbase中的一张表。有多少个build任务就会有多少个segment,在hbase中就会有多少张表。

二、查询

        在指标平台进行报表查询时,选择了一个时间段,比如20170606-2070629,使用kylin进行查询时会扫描hbase中这段时间每一天segment对应的24张表来获取数据。

三、合并的好处

        将多个segment进行合并,会使多个表中的数据合并到一张表中。比如合并20170606-2070629这段时对应的segment,会将24张表中的数据合并到一张表里。再次查询这个时间段的数据时,只需扫描一张表即可。

四、注意事项

      1、合并的segment必须是连续的,中间不能有空缺。

      2、合并之后,其中某一天的数据,不能再单独重刷。

      3、对于需要往前刷多天数据的任务,多天之内的segment不宜合并。可选择多天之前的合并。

不要使用merge方法合并分区

直接通过提交build任务 进行合并  build完成后会自动删除被覆盖的segment

使用自动合并功能后发现数据有丢失现象,故需慎用。

你可能感兴趣的:(kylin)