kylin深度优化

1. 任务引擎高可用

从 v2.0 开始, Kylin 支持多个任务引擎一起运行，相比于默认单任务引擎的配置，多引擎可以保证任务构建的高可用。

使用多任务引擎，你可以在多个 Kylin 节点上配置它的角色为 job 或 all。

kylin.job.scheduler.default=2

kylin.job.lock=org.apache.kylin.storage.hbase.util.ZookeeperJobLock

kylin.server.mode=all

配置Kylin节点的运行模式kylin.server.mode，参数值可选 all, job, query 中的一个。

job 模式代表该服务仅用于任务调度，不用于查询；query 模式代表该服务仅用于查询，不用于构建任务的调度；all 模式代表该服务同时用于任务调度和 SQL 查询。

默认情况下只有一个实例用于构建任务的调度 （即 kylin.server.mode 设置为 all 或者 job 模式。

 

2、提升map的数量，该值越小map的数量越大（默认值1000000）

kylin.job.mapreduce.mapper.input.rows=100000

重新分发中间表的过程，Kylin计算出中间表的行数，然后基于行数的大小算出重新分发数据需要的文件数。默认情况下,Kylin为每一百万行分配一个文件。在接下来对这张表进行的MR步骤里，Hadoop会启动和文件相同数量的mapper来处理数据，如果数据量没有这么大或者想要更多的并发数，这时可以将kylin.job.mapreduce.mapper.input.rows设为小一点。

 

3、增加reduce的数量，该值越小reduce的数量越大

kylin.job.mapreduce.default.reduce.input.mb=100

 

4、用尽可能多的内存来缓存数据以获得更好的性能

    mapreduce.map.memory.mb

    6144

    





    mapreduce.map.java.opts

    -Xmx5632m

    

 

构建cube，“逐片”构建（也称为“内存”构建）。它会使用一轮MR来计算所有的cuboids，但是比通常情况下更耗内存。配置文件”conf/kylin_job_inmem.xml”正是为这步而设。默认情况下它为每个mapper申请3GB内存。如果集群有充足的内存，可以在上述配置文件中分配更多内存给mapper。

 

5、提升kylin job的同时运行个数

kylin.job.max-concurrent-jobs=50