本文档主要是kylin的搭建以及在搭建过程中遇见大问题。
本文档主要搭建在开发环境。环境是基于CDH6.2 CDH中有hadoop ,spark ,hbase
了解自己的环境就可以有针对的下载需要的版本。现在KYLIN的最新版本支持CDH6.0/6.1 咨询kylin用户,CDH6.2也是支持。所以,我下载的kylin 3.0.1
kylin官网 : http://kylin.apache.org/download/
也可以使用wget 命令下载。
cd /usr/local/
wget http://mirror.bit.edu.cn/apache/kylin/apache-kylin-2.5.0/apache-kylin-2.5.0-bin-hbase1x.tar.gz
tar解压
tar -zxvf apache-kylin-2.5.0-bin-hbase1x.tar.gz
注意:在v2.6.1开始,Kylin将不再发布Spark二进制文件;您需要单独安装Spark,然后将SPARK_HOME系统环境变量指向它:
export SPARK_HOME=/path/to/spark
或者运行脚本下载
$KYLIN_HOME/bin/download-spark.sh
由于,我们已经SPARK集群,hbase 集群。所以需要在/etc/profile
文件添加配置。后面会和大家介绍HBASE_CLASSPATH。
#Kylin
export KYLIN_HOME=/export/servers/kylin
export HBASE_CLASSPATH=/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/hbase-server-2.1.0-cdh6.2.0.jar:/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/hbase-common-2.1.0-cdh6.2.0.jar
export SPARK_HOME=/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/spark
source /etc/profile
运行前执行检查环境。Kylin在Hadoop集群上运行,并且对每个组件的版本,访问权限和CLASSPATH都有某些要求。为避免各种环境问题,您可以运行该脚本$KYLIN_HOME/bin/check-env.sh
以对您的环境进行测试,如果您的环境有任何问题,该脚本将打印详细的错误消息。如果没有错误消息,则表明您的环境适合运行Kylin。
Error: Could not find or load main class org.apache.hadoop.hbase.util.GetJavaProperty
这就需要添加HBASE_CLASSPATH环境变量。虽然检查时会报错,但是可以正常运行。这点官网也是给出了答案以及解决办法。 https://issues.apache.org/jira/browse/KYLIN-3564
所以添加好export HBASE_CLASSPATH=/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/hbase-server-2.1.0-cdh6.2.0.jar:/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/jars/hbase-common-2.1.0-cdh6.2.0.jar
环境变量。
运行脚本$KYLIN_HOME/bin/kylin.sh start
启动Kylin。接口输出如下:
Retrieving hadoop conf dir...
KYLIN_HOME is set to /usr/local/apache-kylin-2.5.0-bin-hbase1x
......
A new Kylin instance is started by root. To stop it, run 'kylin.sh stop'
Check the log at /usr/local/apache-kylin-2.5.0-bin-hbase1x/logs/kylin.log
Web UI is at http://<hostname>:7070/kylin
一旦麒麟启动时,您可以通过浏览器访问它http://
与
指定
IP地址或域名,并且默认端口为7070
。
初始用户名和密码ADMIN/KYLIN
。
服务器启动后,您可以查看运行时日志$KYLIN_HOME/logs/kylin.log
。
运行$KYLIN_HOME/bin/kylin.sh stop
脚本以停止Kylin。
可以运行ps -ef | grep kylin
以查看Kylin进程是否已停止。
org/apache/commons/configuration/ConfigurationException
解决:
#下载 下面两个包
commons-collections-3.2.2.jar
commons-configuration-1.10.jar
1.可到maven仓库下载
https://search.maven.org/ 搜索版本,下载
。
2.可以使用本地maven仓库下载。
<dependency>
<groupId>commons-collectionsgroupId>
<artifactId>commons-collectionsartifactId>
<version>3.2.2version>
dependency>
<dependency>
<groupId>commons-configurationgroupId>
<artifactId>commons-configurationartifactId>
<version>1.3version>
dependency>
$KYLIN_HOME/tomcat/webapps/kylin/WEB-INF/lib
/export/servers/kylin/tomcat/webapps/kylin/WEB-INF/lib 复制便可以正常启动。