Apache kylin安装配置

Apache kylin是基于 hadoop hive hbase的。

一、安装hadoop

注：需要启动 history  与 WebAppProxyServer

./mr-jobhistory-daemon.sh start historyserver
./yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver  

二、安装hbase

三、安装hive

四、安装kylin

---

1、配置环境变量

加上kylin 的环境变量

1. #java_home
2. export JAVA_HOME=/usr/java/jdk1.7.0_79
3. export JRE_HOME=$JAVA_HOME/jre
4. export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH
5. export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH
7. ##HBASE
8. export HBASE_HOME=/home/lin/hbase-1.1.2
9. export HBASE_CONF_DIR=/home/lin/hbase-1.1.2/conf
10. export PATH=$PATH:$HBASE_HOME/bin
13. #hadoop_home
14. export HADOOP_HOME=/home/lin/hadoop-2.6.1
15. export HADOOP_CONF_DIR=/home/lin/hadoop-2.6.1/etc/hadoop
16. export YARN_CONF_DIR=/home/lin/hadoop-2.6.1/etc/hadoop
17. export PATH=$PATH:$HADOOP_HOME/bin
19. #hive_home
20. export HIVE_HOME=/home/lin/apache-hive-1.2.1-bin
21. export HCAT_HOME=$HIVE_HOME/hcatalog
22. export HIVE_CONF=$HIVE_HOME/conf
23. export PATH=$PATH:$HIVE_HOME/bin

生效环境变量

1. source  /etc/profile

2、配置kylin.properties      

1. # List of web servers in use, this enables one web server instance to sync up with other servers.
2. kylin.rest.servers=192.168.0.222:7070

这里可以配置多个，用逗号分隔。

1. # Kylin server mode, valid value [all, query, job]
2. kyin.server.mode=all

这里可以使用all，job或者query。

1. # Hive database name for putting the intermediate flat tables
2. kylin.job.hive.database.for.intermediatetable=lin

3、检查环境

1. bin/check-env.sh

4、启动kylin

1. bin/kylin.sh start

5、停止kylin

1. bin/kylin.sh stop

注：访问时候使用 ip:7070  ;  ADMIN/KYLIN

五：数据准备

---

使用kylin给的demo。执行bin里面的

1. [root@bjspxt bin]# ./sample.sh

出现如下语句，证明创建成功

1. Sample cube is created successfully in project 'learn_kylin'.
2. Restart Kylin server or reload the metadata from web UI to see the change.

生成准备数据，需要重启kylin。重启后会有项目 learn_kylin。

查看hive

1. hive> show tables;
2. OK
3. kylin_cal_dt
4. kylin_category_groupings
5. kylin_country
6. kylin_sales
7. Time taken: 1.952 seconds, Fetched: 4 row(s)

证明已经成功。

表关系如下：

六、在kylin上进行数据建模

---

执行kylin的demo后，重启kylin后 会有demo所包含的 project  model cube 自己只用运行就行了。下面只是我做的一个例子，仅供步骤参考：

1、建立项目： 点击左上方的+号新建项目 user_info;

2、同步hive的数据源：在model中选择Data Source ，同步数据源

3、建立数据模型model：选择new model。命名model 选择table

选择维度数据：

4、建立数据cube：

 （1）选择之前建立的model，自己填写cube name，其中邮箱填写后可以收到相关通知信息，通知消息类型在下面选择。

（2）设计维度：

add demension。选择normal。建立维度。

（3）设计指标

+measure。

（4）其他参数设置，合并时间，保留时间等

七、执行建模数据

---

1、在cube开面可以看到刚刚建立的cube，在action里面选择build

2、在monitor里面可以查看job运行状态

3、成功后，在cube界面，可以看到ready的cube，查看他的详细信息。

然后在页面可以进行查询