Kylin介绍:
关于Kylin的简介网上资料有很多,就不做过多的赘述了,这里给一个中文链接:
http://kylin.apache.org/cn/
搭建步骤:
1,安装Hadoop,Zookeeper,HBase,Hive
安装Hadoop这些组件的时候需要注意:选择的版本不能太低,根据Kylin官方推荐的版本来,
Hadoop: 2.7+
Hive: 0.13 - 1.2.1+
HBase: 1.1+
Spark (可选) 2.1.1+
Kafka (可选) 0.10.0+
JDK: 1.7+
OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+
笔者这里选用的版本如下:
hadoop-2.7.2
hbase-1.2.11
zookeeper-3.4.6
jdk1.8.0_91
hive1.2.1
Kylin-2.5.2
2,Kylin下载与安装
下载Kylin的时候,需要注意Kylin的版本,Kylin支持CDH,也有原生的版本。
笔者下载的是这个:
https://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-2.5.2/apache-kylin-2.5.2-bin-hbase1x.tar.gz
下载完成后,将tar包上传到linux中,进行解压:
tar -zxvf apache-kylin-2.5.2-bin-hbase1x.tar.gz
然后对解压后的目录改名:
mv apache-kylin-2.5.2-bin-hbase1x kylin2.5.2
解压完成后可以看到查看目录的文件夹有哪些:
[root@mzz11 opt]# cd kylin2.5.2/
[root@mzz11 kylin2.5.2]# ls
bin commit_SHA1 conf ext lib logs pid sample_cube spark tomcat tool
进入conf下:
[root@mzz11 kylin2.5.2]# cd conf/
[root@mzz11 conf]# ls
kylin_hive_conf.xml kylin_job_conf.xml kylin.properties kylin-spark-log4j.properties setenv.sh
kylin_job_conf_inmem.xml kylin-kafka-consumer.xml kylin-server-log4j.properties kylin-tools-log4j.properties
打开 kylin.properties ,这里只展现部分的内容:
[root@mzz11 conf]# vi kylin.properties
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#
kylin.job.jar=/opt/kylin2.5.2/lib/kylin-job-2.5.2.jar
kylin.coprocessor.local.jar=/opt/kylin2.5.2/lib/kylin-coprocessor-2.5.2.jar
# The below commented values will effect as default settings
# Uncomment and override them if necessary
#
#### METADATA | ENV ###
#
## The metadata store in hbase
#kylin.metadata.url=kylin_metadata@hbase
#
## metadata cache sync retry times
#kylin.metadata.sync-retries=3
#
## Working folder in HDFS, better be qualified absolute path, make sure user has the right permission to this directory
#kylin.env.hdfs-working-dir=/kylin
"kylin.properties" 363L, 13895C
我们需要修改这些项:
##这里可以将mode设置为all,也可以为job,但是只能设置一个,待会将这个文件copy到其他节点,
##需要将这一项改为query,因为一个集群中只能有一个job!!!
## Kylin server mode, valid value [all, query, job]
kylin.server.mode=all
##这个选项为kylin集群的IP,host,根据自己的主机名写,端口就是7070
## List of web servers in use, this enables one web server instance to sync up with other servers.
kylin.server.cluster-servers=mzz11:7070,mzz12:7070,mzz13:7070
##在加入以下两个选项, 注意这两个jar包的位置在kylin目下的lib中,这里需要改成你自己的目录。
kylin.job.jar=/opt/kylin2.5.2/lib/kylin-job-2.5.2.jar
kylin.coprocessor.local.jar=/opt/kylin2.5.2/lib/kylin-coprocessor-2.5.2.jar
注意:这里只是做测试之用,若是在生产环境,可根据自己需要修改一下几个xml文件,已达到生产需要。
kylin_hive_conf.xml kylin_job_conf.xml kylin.properties kylin-spark-log4j.properties setenv.sh
kylin_job_conf_inmem.xml kylin-kafka-consumer.xml kylin-server-log4j.properties kylin-tools-log4j.properties
3,其他配置
第二部完成后,Kylin的部署工作刚完成一半,因为Kylin的边缘配置还有一些。
首先就是Kylin的环境变量:
vi /etc/profile
##同样,这里将目录改为自己的目录即可
export KYLIN_HOME=/opt/kylin2.5.2
export PATH=$PATH:$KYLIN_HOME/bin
##更改完成后,记得source一下:
source /etc/profile
当然,其他的组件,HBase,Hadoop,Zookeeper,Hive也需要配置环境变量,方法和Kylin相同。
还有一点,就是笔者在启动的时候,老是报错:找不到主机。这是因为HBase的一个配置
hbase.zookeeper.quorum
mzz11,mzz12,mzz13
没错,就是这个配置项, 因为笔者用的是外置的zookeeper,一开始的时候配置项加上了post,一直报错找不到mzz11:2181这个主机,研究了下就把这个给改掉了,成功解决了问题!
4,启动验证:
运行Kylin之前,最好先 检查下运行环境,Kylin提供了一个命令,在它的bin目录下有一个命令:
check-env.sh
启动之前,先进行检查, 若是没有问题了,在启动Kylin:
kylin.sh start
可以在UI界面查看Kylin是否启动成功:
测试:待续。。。
//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
Kylin2.6.1安装的时候需要自己下载spark的二进制包,或者运行download-spark.sh,
不然会报错:
spark not found, set SPARK_HOME, or run bin/download-spark.sh
从这个版本开始Kylin不提供spark的二进制包。