一、系统环境
kylin的安装配置并不像官方文档中描述的那样简单,复杂的原因在于hadoop,hive,hbase,kylin的版本一定要兼容,不然就会出现各种奇怪的错误。以下各软件版本可以成功运行kylin。
os : Ubuntu 16.04 LTS 64bit jdk : 1.8.0_161 hadoop : 2.6.4 mysql : 5.7.21 hive : 2.1.0 hbase: 0.98.22-hadoop2 kylin: 1.5.4.1
以上版本软件在这里下载。
安装kylin之前,要先安装hadoop,hive,hbase ,hadoop和hbase要配置成伪分布式,hadoop要开启yarn和historyserver。
二、安装步骤
1、安装kylin
首先下载Kylin并安装到/usr/local目录下
~/下载$ sudo tar -xzf apache-kylin-1.5.4.1-bin.tar.gz -C /usr/local ~/下载$ cd /usr/local /usr/local$ sudo mv apache-kylin-1.5.4.1-bin/ kylin /usr/local$ sudo chown -R hadoop kylin/ #hadoop为我的用户名,更改为自己的用户名即可
编辑~/.bashrc,配置kylin的环境变量
export KYLIN_HOME=/usr/local/kylin
export PATH=$PATH:$KYLIN_HOME/bin
配置完成后 source /.bashrc 使环境变量生效。之前已经安装配置好了hadoop,hive,hbase,所以我的~/.bashrc如下所示:
2、配置kylin
配置kylin使用hive的数据库名
cd /usr/local/kylin/conf
vim kylin.properties
将kylin.job.hive.database.for.intermediatetable修改为kylin_middle
然后在hive中创建数据库kylin_middle
$ hive
> create database kylin_middle;
然后在hdfs上创建目录kylin,并复制给当前用户,我的当前用户为hadoop
hadoop fs -mkdir /kylin hadoop fs -chown -R hadoop /kylin
接着执行Kylin的 check-env.sh ,这时可能会报错
这需要将脚本中的sh替换成bash,命令如下:
cd /usr/local/kylin/bin
sed -i 's/`sh /`bash /g' *.sh
然后再check-env.sh发现问题消失。如果没有问题,kylin就可以运行了,在运行前,要先把hadoop,hbase打开:
$ start-dfs.sh $ start-yarn.sh $ mr-jobhistory-daemon.sh start historyserver $ start-base.sh $ kylin.sh start
然后访问http://127.0.0.1:7070/kylin 就可以看到kylin的登录界面。
登录名/密码=ADMIN/KYLIN
3、kylin测试
官方有一个测试的例子可以帮助我们判断kylin是否已经正确安装了,输入以下命令
$ cd /usr/local/kylin $ ./sample.sh $ ./kylin.sh stop $ ./kylin.sh start
进入kylin会发现出现了一个项目learn_kylin和一个名为kylin_sales_cube的cube,对这个cube执行build操作,可以在monitor中查看该cube build的进度,进度到100%才算build成功。
如果出现错误,可以从$KYLIN_HOME/logs/kylin.log查看日志。
在Insight里面输入以下sql语句测试:
select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt
结果如下:
三、参考
1、https://sjq597.github.io/2016/07/19/Ubuntu-16-04-Hadoop%E6%9C%AC%E5%9C%B0%E5%AE%89%E8%A3%85%E9%85%8D%E7%BD%AE/