修改kylin.properties,并添加如下内容:
kylin.server.query-metrics2-enabled=true
kylin.metrics.reporter-query-enabled=true
kylin.metrics.reporter-job-enabled=true
kylin.metrics.monitor-enabled=true
kylin.web.dashboard-enabled=true
特别说明:默认生成的hive元数据表 会新建名为kylin的库存储来存储。如果需要指定,使用
kylin.metrics.prefix=dbname
在 KYLIN_HOME 目录下创建一个配置文件 SCSinkTools.json。内容如下:
[ [ "org.apache.kylin.tool.metrics.systemcube.util.HiveSinkTool", { "storage_type": 2, "cube_desc_override_properties": [ "java.util.HashMap", { "kylin.cube.algorithm": "INMEM", "kylin.cube.max-building-segments": "1" } ] } ] ]
在 KYLIN_HOME 文件夹下运行一下命令生成相关的 metadata,如下:
./bin/kylin.sh org.apache.kylin.tool.metrics.systemcube.SCCreator \ -inputConfig SCSinkTools.json \ -output ./kylin_metrics
通过这个命令,相关的 metadata 将会生成且其位置位于
运行下列命令生成 hive 源表:
hive -f kylin_metrics/create_hive_tables_for_system_cubes.sql
然后我们需要通过下列命令上传 metadata 到 hbase:
./bin/metastore.sh restore kylin_metrics
最终,我们需要在 Kylin web UI 重载 metadata。
然后,一组系统 Cubes 将会被创建在系统 project 下,称为 “KYLIN_SYSTEM”。
当系统 Cube 被创建,我们需要定期 build Cube。
创建一个 shell 脚本其通过调用 org.apache.kylin.tool.job.CubeBuildingCLI 来 build 系统 Cube
例如:
#!/bin/bash
dir=$(dirname ${0})
export KYLIN_HOME=${dir}/../
CUBE=$1
INTERVAL=$2
DELAY=$3
CURRENT_TIME_IN_SECOND=`date +%s`
CURRENT_TIME=$((CURRENT_TIME_IN_SECOND * 1000))
END_TIME=$((CURRENT_TIME-DELAY))
END=$((END_TIME - END_TIME%INTERVAL))
ID="$END"
echo "building for ${CUBE}_${ID}" >> ${KYLIN_HOME}/logs/build_trace.log
sh ${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.tool.job.CubeBuildingCLI --cube ${CUBE} --endTime ${END} > ${KYLIN_HOME}/logs/system_cube_${CUBE}_${END}.log 2>&1 &
然后定期运行这个 shell 脚本。例如,contab -e:
0 */2 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh KYLIN_HIVE_METRICS_QUERY_QA 3600000 1200000
20 */2 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh KYLIN_HIVE_METRICS_QUERY_CUBE_QA 3600000 1200000
40 */4 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh KYLIN_HIVE_METRICS_QUERY_RPC_QA 3600000 1200000
30 */4 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh KYLIN_HIVE_METRICS_JOB_QA 3600000 1200000
50 */12 * * * sh ${KYLIN_HOME}/bin/system_cube_build.sh KYLIN_HIVE_METRICS_JOB_EXCEPTION_QA 3600000 12000
3.参考文件
Kylin Dashboard使用参考:http://kylin.apache.org/cn/docs/tutorial/use_dashboard.html
Kylin 系统Cube建立参考:http://kylin.apache.org/cn/docs/tutorial/setup_systemcube.html