1)官网地址
http://kylin.apache.org/cn/
2)官方文档
http://kylin.apache.org/cn/docs/
3)下载地址
http://kylin.apache.org/cn/download/
单节点服务模式安装
kylin的运行环境分为单机模式和集群模式,单机模式只需要在任意一台机器安装一台kylin服务即可,集群模式可以在所有机器上面都安装,然后所有机器的kylin组成集群
kylin的服务安装需要依赖于 zookeeper,hdfs,yarn,hive,hbase等各种服务,在安装kylin之前需要保证我们的zookeeper,hdfs,yarn,hive以及hbase的服务都是正常的
|
主机名
服务
|
Node01
|
Node02
|
Node03
|
|
zookeeper
|
QuorumPeerMain
|
QuorumPeerMain
|
QuorumPeerMain
|
|
hdfs
|
namenode
| | |
|
secondaryNameNode
| | |
|
DataNode
|
DataNode
|
DataNode
|
|
Yarn
|
ResourceManager
| | |
|
NodeManager
|
NodeManager
|
NodeManager
|
|
MapReduce
|
JobHistoryServer
| | |
|
HBase
|
HMaster
| | |
|
HRegionServer
|
HRegionServer
|
HRegionServer
|
|
Hive
| | |
HiveServer2
|
| | |
MetaStore
|
第一步:下载kylin安装包上传并解压
kylin安装包下载地址为
http://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.6.3/apache-kylin-2.6.3-bin-cdh57.tar.gz
将安装包上传到node03服务器的/kkb/soft路径下,并解压到/kkb/install
node03执行以下命令,进行解压
cd /kkb/soft
tar -zxf apache-kylin-2.6.3-bin-cdh57.tar.gz -C /kkb/install/
第二步:node03服务器开发环境变量配置
node03服务器添加以下环境变量:
sudo vim /etc/profile
export JAVA_HOME=/kkb/install/jdk1.8.0_141
export PATH=:PATH
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2
export PATH=:PATH
export HBASE_HOME=/kkb/install/hbase-1.2.0-cdh5.14.2
export PATH=:PATH
export HIVE_HOME=/kkb/install/hive-1.1.0-cdh5.14.2
export PATH=:PATH
export HCAT_HOME=/kkb/install/hive-1.1.0-cdh5.14.2
export PATH=:PATH
export KYLIN_HOME=/kkb/install/apache-kylin-2.6.3-bin-cdh57
export PATH=:PATH
export dir=/kkb/install/apache-kylin-2.6.3-bin-cdh57/bin
export PATH=PATH
更改完了环境变量,记得source /etc/profile 生效
第三步:node03启动kylin服务
node03执行以下命令启动kylin服务
cd /kkb/install/apache-kylin-2.6.3-bin-cdh57
bin/kylin.sh start
第四步:浏览器访问kylin服务
浏览器界面访问kylin服务
http://node03.kaikeba.com:7070/kylin/
用户名:ADMIN
密码:KYLIN
kylin的集群环境安装
单节点的kylin环境,主要用于我们方便测试学习,实际工作当中,我们主要还是使用kylin的集群模式来进行开发,接下来我们就来看一下kylin的集群模式该如何运行
query模式下只支持sql查询,不执行cube的构建等相关操作。 特别注意:kylin集群中只能有一个实例运行job引擎,其他必须是query模式。
集群模式重要配置参数介绍
当kylin以集群模式运行的时候,会存在多个运行实例,可以通过conf/kylin.properties中两个参数进行设置
kylin.server.cluster-servers
列出所有rest web Servers,使得实例之间进行同步,比如设置为:
kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070
kylin.server.mode
确保一个实例配置的是all或者job,其他都必须是query模式。
第一步:将node03服务器的kylin安装包分发到其他机器
将node03服务器/kkb/install路径下的kylin的安装包分发到其他服务器上面去
node03执行以下命令停止kylin服务,然后将kylin安装包分发到其他服务器上面去
node03执行以下命令
cd /kkb/install/apache-kylin-2.6.3-bin-cdh57
bin/kylin.sh stop
cd /kkb/install/
scp -r apache-kylin-2.6.3-bin-cdh57/ node02:$PWD
scp -r apache-kylin-2.6.3-bin-cdh57/ node01:$PWD
第二步:三台机器修改kylin配置文件kylin.properties
三台服务器分别修改kylin配置文件kylin.properties
node01服务器修改配置文件
cd /kkb/install/apache-kylin-2.6.3-bin-cdh57/conf/
vim kylin.properties
kylin.metadata.url=kylin_metadata@hbase
kylin.env.hdfs-working-dir=/kylin
kylin.server.mode=query
kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070
kylin.storage.url=hbase
kylin.job.retry=2
kylin.job.max-concurrent-jobs=10
kylin.engine.mr.yarn-check-interval-seconds=10
kylin.engine.mr.reduce-input-mb=500
kylin.engine.mr.max-reducer-number=500
kylin.engine.mr.mapper-input-rows=1000000
node02服务器修改配置文件
cd /kkb/install/apache-kylin-2.6.3-bin-cdh57/conf/
vim kylin.properties
kylin.metadata.url=kylin_metadata@hbase
kylin.env.hdfs-working-dir=/kylin
kylin.server.mode=query
kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070
kylin.storage.url=hbase
kylin.job.retry=2
kylin.job.max-concurrent-jobs=10
kylin.engine.mr.yarn-check-interval-seconds=10
kylin.engine.mr.reduce-input-mb=500
kylin.engine.mr.max-reducer-number=500
kylin.engine.mr.mapper-input-rows=1000000
node03服务器修改配置文件
cd /kkb/install/apache-kylin-2.6.3-bin-cdh57/conf/
vim kylin.properties
kylin.metadata.url=kylin_metadata@hbase
kylin.env.hdfs-working-dir=/kylin
kylin.server.mode=all
kylin.server.cluster-servers=node01:7070,node02:7070,node03:7070
kylin.storage.url=hbase
kylin.job.retry=2
kylin.job.max-concurrent-jobs=10
kylin.engine.mr.yarn-check-interval-seconds=10
kylin.engine.mr.reduce-input-mb=500
kylin.engine.mr.max-reducer-number=500
kylin.engine.mr.mapper-input-rows=1000000
第三步:三台机器配置环境变量
三台机器编辑/etc/profile,添加环境变量
注意:需要将hive的安装文件夹,每一台机器都拷贝
sudo vim /etc/profile
export JAVA_HOME=/kkb/install/jdk1.8.0_141
export PATH=:PATH
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2
export PATH=:PATH
export HBASE_HOME=/kkb/install/hbase-1.2.0-cdh5.14.2
export PATH=:PATH
export HIVE_HOME=/kkb/install/hive-1.1.0-cdh5.14.2
export PATH=:PATH
export HCAT_HOME=/kkb/install/hive-1.1.0-cdh5.14.2
export PATH=:PATH
export KYLIN_HOME=/kkb/install/apache-kylin-2.6.3-bin-cdh57
export PATH=:PATH
export dir=/kkb/install/apache-kylin-2.6.3-bin-cdh57/bin
export PATH=PATH
export HBASE_CLASSPATH=/kkb/install/hbase-1.2.0-cdh5.14.2
export PATH=:PATH
第四步:三台机器启动kylin服务
三台机器执行以下命令启动kylin服务
cd /kkb/soft/apache-kylin-2.6.3-bin-cdh57
bin/kylin.sh start
第五步:node02安装nginx实现请求负载均衡
注意:nginx的安装需要使用root用户来进行安装
在node02服务器上面安装nginx服务,实现请求负载均衡
将nginx的安装包上传到/kkb/soft路径下,然后解压,并对nginx的配置文件进行配置,然后启动nginx服务即可
1、解压nginx压缩吧
cd /kkb/soft/
tar -zxf nginx-1.8.1.tar.gz -C /kkb/install/
2、编译nginx
yum -y install gcc pcre-devel zlib-devel openssl openssl-devel
cd /kkb/install/nginx-1.8.1/
./configure --prefix=/usr/local/nginx
make
make install
3、修改nginx的配置文件
node02执行以下命令修改nginx的配置文件
cd /usr/local/nginx/conf
vim nginx.conf
添加以下内容
在nginx.conf配置文件的最后一个 “}” 上面一行,添加以下内容
upstream kaikeba {
least_conn;
server 192.168.52.100:7070 weight=8;
server 192.168.52.110:7070 weight=7;
server 192.168.52.120:7070 weight=7;
}
server {
listen 8066;
server_name localhost;
location / {
proxy_pass http://kaikeba;
}
}
4、nginx的启动与停止命令
nginx的启动命令,node02执行以下命令启动nginx服务
cd /usr/local/nginx/
sbin/nginx -c conf/nginx.conf
nginx的停止命令,node02执行以下命令停止nginx服务
cd /usr/local/nginx/
sbin/nginx -s stop
第六步:浏览器界面访问
http://node02:8066/kylin/
访问这个网址,就可以实现负载均衡