kylin初体验-入门介绍

为什么80%的码农都做不了架构师？>>>

kylin初体验

12月开始，为了提高公司OLAP系统的查询速度，开始接触kylin，前前后后折腾了近三个月。踩了无数的坑，才算是初窥门径。特在此把自己的感悟、理解记录下来，算是重新梳理一边自己的所得，也希望能给众位正在使用kylin或者打算使用kylin的小伙伴们提供一点帮助?

一句话的概括（我的理解）

kylin将OLAP分析的星型模型schema的所有group by聚合结果存储在HBASE的表中，通过将sql查询转化成对hbase表的聚合操作的方式大大提高查询速度。

官方介绍

http://kylin.apache.org/ Apache Kylin™ is an open source Distributed Analytics Engine designed to provide SQL interface and multi-dimensional analysis (OLAP) on Hadoop supporting extremely large datasets, original contributed from eBay Inc.

kylin的角色

上层应用
- SQL应用：Zeplin等，通过jdbc/odbc调用kylin
- 第三方应用：通过kylin的restful接口调用kylin
- BI应用：Saiku+Mondrian， Tabula
kylin
- 提供jdbc/odbc driver以及restful接口，接受sql查询
- 判断sql该从hbase直接查询，还是该查询原始的hive表
- 提供cube设计、构建、管理的接口和UI
下层基础(kylin 1.2)
- hadoop 2.4 - hadoop 2.7
- hive 0.13 - hive 0.14
- hbase 0.98 - hbase 0.99
- JDK 1.7+

kylin 架构

REST Server：提供jdbc/odbc接口以及restful接口
Metadata：存储在hbase中的cube相关信息（project信息、hive table 信息、cube Schema…)
Routing:处理Rest Server接受到的请求，查询Metadata，判断从hbase取数还是从hive取数
Query Engine：根据Routing 的判断，执行hbase查询或者hive查询，返回数据给REST Server
Cube Build Engine：根据metadata中的cube信息，将hive中的数据预计算并写入到hbase

kylin build cube的方法在官网上有详细的介绍，这里不再赘述

踩过的坑与感悟

kylin 的cube 对于用户是透明的。用户无法直接从cube查询。用户需要写维表与事实表的join语句， kylin负责转译成cube的查询。这点也是kylin和中间表、宽表的一大区别。（中间表、宽表在用户端就让sql变得简单， kylin在执行时让sql变得高效）因此，kylin适合与bi引擎对接。中间表、宽表事宜提供给用户。
kylin对hadoop生态的版本非常敏感，最好不要超出推荐的版本好范围
搭建kylin时：

limit 后面添加一个起始位置，一个数据长度，比如limit 1， 20
right outer join
left outer join
select 不在group by 中的字段
count(distinct)
insert, update, delete
union, union all
where exists

需要安装snapy压缩算法，或者将kylin.hbase.default.compression.codec配置为其他已有算法
需要将$HBASE_HOME/conf/hbase-site.xml 中hbasehbase.zookeeper.quorum字段的默认端口2181去除掉
需要用huser用户启动kylin
需要保证kylin服务机器与集群中每台机器的hadoop相关环境变量一致
kylin执行MR任务时如果报错hcatalog class not found. build cube时集群中每台机器都有一些hive的jar包(比如hive-hcatalog-core***.jar)，如果没有，需要合并到$KYLIN_HOME/lib／kylin-jdbc-{version}.jar中。kylin运行时会将这个jar包put到HDFS上。
对kylin的job进行管理时，常常会因为kylin metadata的缓存导致找不到资源id对应的cube、segment，从而产生一个null pointer错误。解决方法：重启kylin清除缓存，或者修改kylin源码，对job操作中可能出现null pointer的地方做相应处理。
kylin的官方介绍中，对于出现在hive表但是没有被预处理存储到hbase中的字段的查询，kylin可以直接查询hive。经过在kylin UI中试验，发现kylin并不能找到hive表，会报找不到字段的错误。
kylin对cube进行按日期分段时，需要提供一个日期字段如图:选中的字段PAR在hive中需要是Date类型。否则build Cube 不能成功
kylin对绝大多数SQL语句都有很好的支持，下面列出经过测试kylin不能很好支持的sql语句：

limit 后面添加一个起始位置，一个数据长度，比如limit 1， 20
right outer join
left outer join
select 不在group by 中的字段
count(distinct)
insert, update, delete
union, union all
where exists