Kylin2.5.2完全分布式安装部署

Kylin介绍:
     关于Kylin的简介网上资料有很多,就不做过多的赘述了,这里给一个中文链接:
     http://kylin.apache.org/cn/
搭建步骤:

1,安装Hadoop,Zookeeper,HBase,Hive
      安装Hadoop这些组件的时候需要注意:选择的版本不能太低,根据Kylin官方推荐的版本来,
     Hadoop: 2.7+
     Hive: 0.13 - 1.2.1+
     HBase: 1.1+
     Spark (可选) 2.1.1+
     Kafka (可选) 0.10.0+
     JDK: 1.7+
     OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+

     笔者这里选用的版本如下:
     hadoop-2.7.2
     hbase-1.2.11
      zookeeper-3.4.6
      jdk1.8.0_91
      hive1.2.1
      Kylin-2.5.2

2,Kylin下载与安装
     下载Kylin的时候,需要注意Kylin的版本,Kylin支持CDH,也有原生的版本。
     笔者下载的是这个:
     https://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-2.5.2/apache-kylin-2.5.2-bin-hbase1x.tar.gz
     下载完成后,将tar包上传到linux中,进行解压:

tar -zxvf apache-kylin-2.5.2-bin-hbase1x.tar.gz 

     然后对解压后的目录改名:

 mv apache-kylin-2.5.2-bin-hbase1x kylin2.5.2

     解压完成后可以看到查看目录的文件夹有哪些:

[root@mzz11 opt]# cd kylin2.5.2/
[root@mzz11 kylin2.5.2]# ls
bin  commit_SHA1  conf  ext  lib  logs  pid  sample_cube  spark  tomcat  tool

     进入conf下:

[root@mzz11 kylin2.5.2]# cd conf/
[root@mzz11 conf]# ls
kylin_hive_conf.xml       kylin_job_conf.xml        kylin.properties               kylin-spark-log4j.properties  setenv.sh
kylin_job_conf_inmem.xml  kylin-kafka-consumer.xml  kylin-server-log4j.properties  kylin-tools-log4j.properties

     打开 kylin.properties ,这里只展现部分的内容:

[root@mzz11 conf]# vi kylin.properties 
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#    http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#
kylin.job.jar=/opt/kylin2.5.2/lib/kylin-job-2.5.2.jar
kylin.coprocessor.local.jar=/opt/kylin2.5.2/lib/kylin-coprocessor-2.5.2.jar



# The below commented values will effect as default settings
# Uncomment and override them if necessary



#
#### METADATA | ENV ###
#
## The metadata store in hbase
#kylin.metadata.url=kylin_metadata@hbase
#
## metadata cache sync retry times
#kylin.metadata.sync-retries=3
#
## Working folder in HDFS, better be qualified absolute path, make sure user has the right permission to this directory
#kylin.env.hdfs-working-dir=/kylin
"kylin.properties" 363L, 13895C

     我们需要修改这些项:

##这里可以将mode设置为all,也可以为job,但是只能设置一个,待会将这个文件copy到其他节点,
##需要将这一项改为query,因为一个集群中只能有一个job!!!
## Kylin server mode, valid value [all, query, job]
kylin.server.mode=all


##这个选项为kylin集群的IP,host,根据自己的主机名写,端口就是7070
## List of web servers in use, this enables one web server instance to sync up with other servers.
kylin.server.cluster-servers=mzz11:7070,mzz12:7070,mzz13:7070

##在加入以下两个选项, 注意这两个jar包的位置在kylin目下的lib中,这里需要改成你自己的目录。
kylin.job.jar=/opt/kylin2.5.2/lib/kylin-job-2.5.2.jar
kylin.coprocessor.local.jar=/opt/kylin2.5.2/lib/kylin-coprocessor-2.5.2.jar

     注意:这里只是做测试之用,若是在生产环境,可根据自己需要修改一下几个xml文件,已达到生产需要。

kylin_hive_conf.xml       kylin_job_conf.xml        kylin.properties               kylin-spark-log4j.properties  setenv.sh
kylin_job_conf_inmem.xml  kylin-kafka-consumer.xml  kylin-server-log4j.properties  kylin-tools-log4j.properties

3,其他配置
     第二部完成后,Kylin的部署工作刚完成一半,因为Kylin的边缘配置还有一些。
     首先就是Kylin的环境变量:

vi /etc/profile  

##同样,这里将目录改为自己的目录即可
export KYLIN_HOME=/opt/kylin2.5.2
export PATH=$PATH:$KYLIN_HOME/bin

##更改完成后,记得source一下:

source /etc/profile

     当然,其他的组件,HBase,Hadoop,Zookeeper,Hive也需要配置环境变量,方法和Kylin相同。

     还有一点,就是笔者在启动的时候,老是报错:找不到主机。这是因为HBase的一个配置


  hbase.zookeeper.quorum
  mzz11,mzz12,mzz13

     没错,就是这个配置项, 因为笔者用的是外置的zookeeper,一开始的时候配置项加上了post,一直报错找不到mzz11:2181这个主机,研究了下就把这个给改掉了,成功解决了问题!

4,启动验证:

     运行Kylin之前,最好先 检查下运行环境,Kylin提供了一个命令,在它的bin目录下有一个命令:

check-env.sh 

     启动之前,先进行检查, 若是没有问题了,在启动Kylin:

kylin.sh  start 

     可以在UI界面查看Kylin是否启动成功:

Kylin2.5.2完全分布式安装部署_第1张图片
有问题,可以留言。

测试:待续。。。

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////
Kylin2.6.1安装的时候需要自己下载spark的二进制包,或者运行download-spark.sh,
不然会报错:

spark not found, set SPARK_HOME, or run bin/download-spark.sh

从这个版本开始Kylin不提供spark的二进制包。

你可能感兴趣的:(Kylin,大数据)