Kylin中Segments overlap的解决办法

        我们公司的有初具规模的Hadoop、Spark集群,用来做离线数据统计与分析。今年初引入Kylin来进行成熟业务的与计算,当然用Hbase来存储Kylin的结果数据了。由于业务数据规模增长较快,处理日志的时候越来越慢了,于昨日进行部分硬件升级。升级过程中,直接是将hadoop等集群直接关闭的,但是出了一个严重纰漏,先关闭的HDFS,再关闭的Hbase,导致HBASE中可能有数据没有刷新到磁盘,在今天进行KYLIN增量计算的时候,都失败了,在手动刷新的时候,一直报:Segments overlap错误,几经折腾终于是弄好了,特记录下整个过程已作参考。

(1)错误表现形式

2017-11-01 22:51:08,285 ERROR [http-bio-7070-exec-12] controller.CubeController:296 : Segments overlap: cube_logs_app_event_lodate_eventkey_channel_version_param[201710310000
00_20171101000000] and cube_logs_app_event_lodate_eventkey_channel_version_param[20171031000000_20171101000000]
java.lang.IllegalStateException: Segments overlap: cube_logs_app_event_lodate_eventkey_channel_version_param[20171031000000_20171101000000] and cube_logs_app_event_lodate_eve
ntkey_channel_version_param[20171031000000_20171101000000]
        at org.apache.kylin.cube.CubeValidator.validate(CubeValidator.java:85)
        at org.apache.kylin.cube.CubeManager.updateCubeWithRetry(CubeManager.java:401)
        at org.apache.kylin.cube.CubeManager.updateCube(CubeManager.java:353)
        at org.apache.kylin.cube.CubeManager.appendSegment(CubeManager.java:472)
        at org.apache.kylin.cube.CubeManager.appendSegment(CubeManager.java:459)
        at org.apache.kylin.rest.service.JobService.submitJob(JobService.java:210)
        

注意:优先使用 kylin的 WEB控制台的 system 页签下的 Action  “reload metadata“来加载数据试一试,不行再走下面的过程。

(2)处理过程

    最开始是根本摸不着头脑,在KYLIN的WEB控制台的Monitor面板根本看不到任何失败或者处理中的JOB,但是反复多次Rebuild、Merage、Refresh等都是提示一样的错误。接下来就找度娘和Google求助,没有找到有效信息。  最开始想到的就是 删除掉 Segments后再重新BUILD,于是找到了 Rest API接口来操作,命令如下:

curl -X DELETE -H "Content-Type:application/json;charset=UTF-8" -H "Authorization: Basic YWRtaW416S1lMSU4="    http://HOST55:7070/kylin/api/cubes/cube_logs_advert_logdate_advert_id_terminal_type/segs/20171031000000_20171101000000
但是上述失败了,只能删除有效的Segment,并且还只能删除头或尾的短,像我这里的处于不正常状态的Segment(kylin 的metadata存在,但是对应的HBASE中不存在表,存储空间为0)是删除不掉的。

   接下来就考虑是否可以直接删除元数据。

   直接备份元数据:   ./bin/metastore.sh backup (这一步太重要了,否则KYLIN的数据一不小心就没啦)

   检查元数据:./bin/metastore.sh clean

  清除无效数据: ./bin/metastore.sh clean --delete true

  上述操作下来,问题还是照旧,没有任何变化。


  接下来就只能考虑直接手动修改元数据,再恢复了。

  执行下述命令,找到可能的错误点:

  fgrep -r 20171031000000_20171101000000 ./$KYLIN_HOME/meta_backups_OK/meta_2017_11_01_19_30_49

  在文件 $KYLIN_HOME/meta_backups/meta_2017_11_01_19_30_49/cube]$vi cube_logs_advert_logdate_advert_id_terminal_type.json 的末尾找到如下数据,直接删除掉后再保存。

  

, {
    "uuid" : "32eb368f-d75f-4ea8-951f-0ace62958215",
    "name" : "20171031000000_20171101000000",
    "storage_location_identifier" : "KYLIN_2AOZN2GZX3",
    "date_range_start" : 1509408000000,
    "date_range_end" : 1509494400000,
    "source_offset_start" : 0,
    "source_offset_end" : 0,
    "status" : "NEW",
    "size_kb" : 0,
    "input_records" : 0,
    "input_records_size" : 0,
    "last_build_time" : 0,
    "last_build_job_id" : null,
    "create_time_utc" : 1509492601706,
    "cuboid_shard_nums" : { },
    "total_shards" : 0,
    "blackout_cuboids" : [ ],
    "binary_signature" : null,
    "dictionaries" : null,
    "snapshots" : null,
    "rowkey_stats" : [ ]
  } 

 接下来就是清理掉KYLIN的元数据,再用修改后的元数据恢复。

  ./bin/metastore.sh reset

  ./bin/metastore.sh restore $KYLIN_HOME/meta_backups/meta_xxxx_xx_xx_xx_xx_xx

  至此问题才得以解决,KYLIN又可以欢快的Rebuild昨天的问题数据了。



你可能感兴趣的:(kylin)