CDH+Kylin安装

软件包

1. CDH 5.7.6 Cloudera Manager + CDH安装请点击

2. kylin-2.0.0kylin官网

kylin的安装

吐槽一下，虽然网上关于kylin的安装都很简单，但是实际安装远远没有那么简单。

1. 配置环境变量
   配置后source /etc/profile使其生效，如果启动kylin的时候，还说环境未配置，请继续执行source /etc/profile，我配置过程中也遇到这个问题，也不知道为什么。

   export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
   export KYLIN_HOME=/opt/export/app/kylin-2.0.0
   export HBASE_HOME=/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hbase
   export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hadoop
   export HIVE_HOME=/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hive
   export HADOOP_CMD=/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hadoop/bin/hadoop
   export HCAT_HOME=/opt/cloudera/parcels/CDH/lib/hive-hcatalog
   export HIVE_CONF=/etc/hive/conf
   export HIVE_CONF_DIR=/etc/hive/conf
   export HADOOP_CONF_DIR=/etc/hadoop/conf
   export YARN_CONF_DIR=/etc/hadoop/
   

2. 配置kylin.properties

   添加：
   kylin.job.jar=/opt/export/app/kylin-2.0.0/lib/kylin-job-2.0.0.jar
   kylin.coprocessor.local.jar= /opt/export/app/kylin-2.0.0/lib/kylin-coprocessor-2.0.0.jar
   kylin.job.yarn.app.rest.check.status.url=http://master01:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
   
   修改如下配置项：
   kylin.source.hive.client=beeline
   kylin.source.hive.beeline-params=-n hive -u jdbc:hive2://master01:10000
   
   如果hive配置了高可用kylin.source.hive.beeline-params需要改变为：注意jdbc双引号一定要加
   
   kylin.source.hive.beeline-params=beeline -u "jdbc:hive2://master01:2181,master02:2181,slave01:2181,slave02:2181,slave03:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk" -n hive -p hive
   

3. 执行./check-env.sh
   这个命令实在hdfs先创建/kylin目录，执行时会有权限问题，请在切换到hdfs用户目录下执行

4. 导入测试数据./sample.sh

5. 启动kylin ./kylin.sh start

6. 访问web UI

   登录后台：http://xxxxx:7070/kylin
   账号密码：ADMIN/KYLIN

遇到问题

首先确保是按照上述步骤配置Kylin

1. 环境问题

   分别执行 find-hadoop-conf-dir.sh find-hbase-dependency.sh find-hive-dependency.sh 来确定是否环境配置正确
   
   执行结果：
   [wangjingkun@master01 bin]$ ./find-hadoop-conf-dir.sh
   Retrieving hadoop conf dir...
   ./find-hadoop-conf-dir.sh: line 74: return: can only `return' from a function or sourced script
   [wangjingkun@master01 bin]$ ./find-hbase-dependency.sh
   Retrieving hbase dependency...
   [wangjingkun@master01 bin]$ ./find-hive-dependency.sh
   Retrieving hive dependency...
   [wangjingkun@master01 bin]$
   
   第一次执行find-hive-dependency.sh会打印好多jar包信息。
   

2. hdfs权限问题

   2.1 /tmp的权限问题，这个我直接将hdfs配置中的配置项：检查 HDFS 权限
   dfs.permissions设置为false

   2.2 /user权限问题，这个问题可能没有，如果遇到不想排查的话sudo -u hdfs hdfs dfs -chmod -R /user

3. 重置集群以及Kylin后报错如下：

   
   

   解决：登录zookeeper客户端后执行如下命令：
   rmr /hbase/table/kylin_metadata_acl
   rmr /hbase/table/kylin_metadata_user
   rmr /hbase/table/kylin_metadata

4. 使用kylin1.6.0时执行MR报错
   在kylin.properties中添加 kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH/lib/sentry/lib/
   问题解答