Kylin的环境安装

1)官网地址

http://kylin.apache.org/cn/

2)官方文档

http://kylin.apache.org/cn/docs/

3)下载地址

http://kylin.apache.org/cn/download/

单节点服务模式安装

kylin的运行环境分为单机模式和集群模式,单机模式只需要在任意一台机器安装一台kylin服务即可,集群模式可以在所有机器上面都安装,然后所有机器的kylin组成集群

kylin的服务安装需要依赖于 zookeeper,hdfs,yarn,hive,hbase等各种服务,在安装kylin之前需要保证我们的zookeeper,hdfs,yarn,hive以及hbase的服务都是正常的

|

主机名

服务

|

Node01

|

Node02

|

Node03

|
|

zookeeper

|

QuorumPeerMain

|

QuorumPeerMain

|

QuorumPeerMain

|
|

hdfs

|

namenode

| | |
|

secondaryNameNode

| | |
|

DataNode

|

DataNode

|

DataNode

|
|

Yarn

|

ResourceManager

| | |
|

NodeManager

|

NodeManager

|

NodeManager

|
|

MapReduce

|

JobHistoryServer

| | |
|

HBase

|

HMaster

| | |
|

HRegionServer

|

HRegionServer

|

HRegionServer

|
|

Hive

| | |

HiveServer2

|
| | |

MetaStore

|

第一步:下载kylin安装包上传并解压

kylin安装包下载地址为

http://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.6.3/apache-kylin-2.6.3-bin-cdh57.tar.gz

将安装包上传到node03服务器的/kkb/soft路径下,并解压到/kkb/install

node03执行以下命令,进行解压

cd /kkb/soft

tar -zxf apache-kylin-2.6.3-bin-cdh57.tar.gz -C /kkb/install/

第二步:node03服务器开发环境变量配置

node03服务器添加以下环境变量:

sudo vim /etc/profile

export JAVA_HOME=/kkb/install/jdk1.8.0_141

export PATH=:PATH

export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2

export PATH=:PATH

export HBASE_HOME=/kkb/install/hbase-1.2.0-cdh5.14.2

export PATH=:PATH

export HIVE_HOME=/kkb/install/hive-1.1.0-cdh5.14.2

export PATH=:PATH

export HCAT_HOME=/kkb/install/hive-1.1.0-cdh5.14.2

export PATH=:PATH

export KYLIN_HOME=/kkb/install/apache-kylin-2.6.3-bin-cdh57

export PATH=:PATH

export dir=/kkb/install/apache-kylin-2.6.3-bin-cdh57/bin

export PATH=PATH

更改完了环境变量,记得source /etc/profile 生效

第三步:node03启动kylin服务

node03执行以下命令启动kylin服务

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57

bin/kylin.sh start

第四步:浏览器访问kylin服务

浏览器界面访问kylin服务

http://node03.kaikeba.com:7070/kylin/

用户名:ADMIN

密码:KYLIN

kylin的集群环境安装

单节点的kylin环境,主要用于我们方便测试学习,实际工作当中,我们主要还是使用kylin的集群模式来进行开发,接下来我们就来看一下kylin的集群模式该如何运行

Kylin的实例是无状态的,运行时的状态保存在Hbase的元数据中(kylin.metadata.url指定)

只要每个实例都指向读取共同的元数据就可以完成集群的部署(即元数据共享)

对于每个实例,都必须指定实例运行的模式(kylin.server.mode),共有3种模式

job 只能运行job引擎

query 只能运行查询引擎

all 既可以运行job 又可以运行query

query模式下只支持sql查询,不执行cube的构建等相关操作。 特别注意:kylin集群中只能有一个实例运行job引擎,其他必须是query模式。

集群模式重要配置参数介绍

当kylin以集群模式运行的时候,会存在多个运行实例,可以通过conf/kylin.properties中两个参数进行设置

kylin.server.cluster-servers

列出所有rest web Servers,使得实例之间进行同步,比如设置为:

kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070

kylin.server.mode

确保一个实例配置的是all或者job,其他都必须是query模式。

第一步:将node03服务器的kylin安装包分发到其他机器

将node03服务器/kkb/install路径下的kylin的安装包分发到其他服务器上面去

node03执行以下命令停止kylin服务,然后将kylin安装包分发到其他服务器上面去

node03执行以下命令

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57

bin/kylin.sh stop

cd /kkb/install/

scp -r apache-kylin-2.6.3-bin-cdh57/ node02:$PWD

scp -r apache-kylin-2.6.3-bin-cdh57/ node01:$PWD

第二步:三台机器修改kylin配置文件kylin.properties

三台服务器分别修改kylin配置文件kylin.properties

node01服务器修改配置文件

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57/conf/

vim kylin.properties

kylin.metadata.url=kylin_metadata@hbase

kylin.env.hdfs-working-dir=/kylin

kylin.server.mode=query

kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070

kylin.storage.url=hbase

kylin.job.retry=2

kylin.job.max-concurrent-jobs=10

kylin.engine.mr.yarn-check-interval-seconds=10

kylin.engine.mr.reduce-input-mb=500

kylin.engine.mr.max-reducer-number=500

kylin.engine.mr.mapper-input-rows=1000000

node02服务器修改配置文件

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57/conf/

vim kylin.properties

kylin.metadata.url=kylin_metadata@hbase

kylin.env.hdfs-working-dir=/kylin

kylin.server.mode=query

kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070

kylin.storage.url=hbase

kylin.job.retry=2

kylin.job.max-concurrent-jobs=10

kylin.engine.mr.yarn-check-interval-seconds=10

kylin.engine.mr.reduce-input-mb=500

kylin.engine.mr.max-reducer-number=500

kylin.engine.mr.mapper-input-rows=1000000

node03服务器修改配置文件

cd /kkb/install/apache-kylin-2.6.3-bin-cdh57/conf/

vim kylin.properties

kylin.metadata.url=kylin_metadata@hbase

kylin.env.hdfs-working-dir=/kylin

kylin.server.mode=all

kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070

kylin.storage.url=hbase

kylin.job.retry=2

kylin.job.max-concurrent-jobs=10

kylin.engine.mr.yarn-check-interval-seconds=10

kylin.engine.mr.reduce-input-mb=500

kylin.engine.mr.max-reducer-number=500

kylin.engine.mr.mapper-input-rows=1000000

第三步:三台机器配置环境变量

三台机器编辑/etc/profile,添加环境变量

注意:需要将hive的安装文件夹,每一台机器都拷贝

sudo vim /etc/profile

export JAVA_HOME=/kkb/install/jdk1.8.0_141

export PATH=:PATH

export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2

export PATH=:PATH

export HBASE_HOME=/kkb/install/hbase-1.2.0-cdh5.14.2

export PATH=:PATH

export HIVE_HOME=/kkb/install/hive-1.1.0-cdh5.14.2

export PATH=:PATH

export HCAT_HOME=/kkb/install/hive-1.1.0-cdh5.14.2

export PATH=:PATH

export KYLIN_HOME=/kkb/install/apache-kylin-2.6.3-bin-cdh57

export PATH=:PATH

export dir=/kkb/install/apache-kylin-2.6.3-bin-cdh57/bin

export PATH=PATH

export HBASE_CLASSPATH=/kkb/install/hbase-1.2.0-cdh5.14.2

export PATH=:PATH

第四步:三台机器启动kylin服务

三台机器执行以下命令启动kylin服务

cd /kkb/soft/apache-kylin-2.6.3-bin-cdh57

bin/kylin.sh start

第五步:node02安装nginx实现请求负载均衡

注意:nginx的安装需要使用root用户来进行安装

在node02服务器上面安装nginx服务,实现请求负载均衡

将nginx的安装包上传到/kkb/soft路径下,然后解压,并对nginx的配置文件进行配置,然后启动nginx服务即可

1、解压nginx压缩吧

cd /kkb/soft/

tar -zxf nginx-1.8.1.tar.gz -C /kkb/install/

2、编译nginx

yum -y install gcc pcre-devel zlib-devel openssl openssl-devel

cd /kkb/install/nginx-1.8.1/

./configure --prefix=/usr/local/nginx

make

make install

3、修改nginx的配置文件

node02执行以下命令修改nginx的配置文件

cd /usr/local/nginx/conf

vim nginx.conf

添加以下内容

在nginx.conf配置文件的最后一个 “}” 上面一行,添加以下内容

upstream kaikeba {

least_conn;

server 192.168.52.100:7070 weight=8;

server 192.168.52.110:7070 weight=7;

server 192.168.52.120:7070 weight=7;

}

server {

listen 8066;

server_name localhost;

location / {

proxy_pass http://kaikeba;

}

}

4、nginx的启动与停止命令

nginx的启动命令,node02执行以下命令启动nginx服务

cd /usr/local/nginx/

sbin/nginx -c conf/nginx.conf

nginx的停止命令,node02执行以下命令停止nginx服务

cd /usr/local/nginx/

sbin/nginx -s stop

第六步:浏览器界面访问

http://node02:8066/kylin/

访问这个网址,就可以实现负载均衡

你可能感兴趣的:(Kylin的环境安装)