MAC上安装使用KYLIN(OLAP工具)完整版

转载请尊重原著：_木子_简单_@CSDN  [email protected]  

软件版本：

下载地址：http://archive.cloudera.com/cdh5/cdh/5/

hadoop-2.5.0-cdh5.3.2

hive-0.13.1-cdh5.3.2

hbase-0.98.6-cdh5.3.10

apache-kylin-1.2-bin

MAC ssh localhost设置

偏好设置－共享－打开远程共享

>>  ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
>>  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

一、HADOOP单机安装

1、下载hadoop-2.5.0-cdh5.3.2到~/soft/下并解压

2、配置：

yarn-site.xml

yarn.nodemanager.local-dirs     ${hadoop.tmp.dir}/nmlocaldir       yarn.resourcemanager.hostname       localhost       yarn.nodemanager.aux-services       mapreduce_shuffle       yarn.nodemanager.aux-services.mapreduce.shuffle.class       org.apache.hadoop.mapred.ShuffleHandler       yarn.application.classpath             /home/pay/soft/hadoop-2.5.0-cdh5.3.2/etc/hadoop,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/common/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/common/lib/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/hdfs/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/hdfs/lib/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/mapreduce/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/mapreduce/lib/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/yarn/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/yarn/lib/*

mapred-site.xml

mapred.job.tracker           localhost:9001           jobtracker标识:端口号，不是URI                            mapred.local.dir            /tmp/local            tasktracker上执行mapreduce程序时的本地目录                 mapreduce.framework.name          yarn        mapred.child.tmp    /tmp     mapreduce.jobhistory.address   localhost:10020   mapreduce.jobhistory.webapp.address   localhost:19888       mapreduce.application.classpath             /home/pay/soft/hadoop-2.5.0-cdh5.3.2/etc/hadoop,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/common/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/common/lib/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/hdfs/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/hdfs/lib/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/mapreduce/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/mapreduce/lib/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/yarn/*,         /home/pay/soft/hadoop-2.5.0-cdh5.3.2/share/hadoop/yarn/lib/*

core-site.xml

fs.defaultFS         hdfs://localhost:8001 hadoop.tmp.dir /tmp/hadooptmp

hdfs-site.xml

dfs.replication         1               dfs.namenode.http-address         localhost:50070               dfs.namenode.secondary.http-address         localhost:50090

3、增加环境变量 （在~/.bash_profile中）

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_91.jdk/Contents/Home export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export HADOOP_HOME=/Users/baidu/soft/hadoop-2.5.0-cdh5.3.2 export HADOOP_CONF=/Users/baidu/soft/hadoop-2.5.0-cdh5.3.2/etc/hadoop export HADOOP_LIB=${HADOOP_HOME}/share/hadoop/mapreduce1/contrib/capacity-scheduler/lib:${HADOOP_HOME}/share/hadoop/ PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:${HADOOP_LIB}

4、启动&测试

shell >  $HADOOP_HOME/bin/hadoop namenode -format  shell >  $HADOOP_HOME/sbin/start-all.sh   shell >  hadoop jar $HADOOP_HOME/share/hadoop/mapreduce1/hadoop-examples-2.5.0-mr1-cdh5.3.2.jar pi 4 1000 shell > sbin/mr-jobhistory-daemon.sh start historyserver

二、HIVE单机安装

1、下载hive-0.13.1-cdh5.3.2到~/soft/下并解压

2、配置：

hive-env.sh

HADOOP_HOME=${HADOOP_HOME} export HIVE_CONF_DIR=${HIVE_HOME}/conf

hive-site.xml

javax.jdo.option.ConnectionURL      jdbc:mysql://localhost:3306/hive?useSSL=false&createDatabaseIfNotExist=true         hive.metastore.schema.verification    false        javax.jdo.option.ConnectionDriverName      com.mysql.jdbc.Driver     javax.jdo.option.ConnectionUserName   hive      javax.jdo.option.ConnectionPassword      hive      hive.metastore.uris   thrift://localhost:9083   Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.     hive.metastore.local     false    hive.exec.mode.local.auto.inputbytes.max   -1

3、增加环境变量 （在~/.bash_profile中）

export HIVE_HOME=/Users/baidu/soft/hive-0.13.1-cdh5.3.2 export HBASE_HOME=/Users/baidu/hbasesoft/hbase-0.98.6-cdh5.3.10/ export hive_lib=${HIVE_HOME}/lib export hive_dependency=$HIVE_HOME/conf/:$HIVE_HOME/lib/*:$HIVE_HOME/hcatalog/share/hcatalog/hive-hcatalog-core-0.13.1-cdh5.3.2.jar  export HIVE_CONF=$HIVE_HOME/conf export HCAT_HOME=${HIVE_HOME}/hcatalog PATH=$PATH:$HIVE_HOME/bin:${HCAT_HOME}/bin

4、启动&测试

shell > nohup hive --service metastore -p 9083 & shell > hive > create table test(a string); > select * from test; > exit;

三、HBASE单机安装

1、下载hbase-0.98.6-cdh5.3.10到~/hbasesoft/下并解压（路径随意啦）

2、配置：

hbase-env.sh

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_91.jdk/Contents/Home export HBASE_CLASSPATH=/Users/baidu/soft/hadoop-2.5.0-cdh5.3.2/etc/hadoop export HBASE_OPTS="-XX:+UseConcMarkSweepGC" export HBASE_MANAGES_ZK=true

hbase-site.xml

hbase.rootdir     hdfs://localhost:8001/hbase     hbase.cluster.distributed true         hbase.zookeeper.property.dataDir     /Users/baidu/hbasesoft/hbase-0.98.6-cdh5.3.10/data     hbase.zookeeper.quorum   localhost

3、增加环境变量 （在~/.bash_profile中）

export HBASE_HOME=/Users/baidu/hbasesoft/hbase-0.98.6-cdh5.3.10/ PATH=$PATH:$HBASE_HOME/bin

4、启动&测试

shell > ./bin/start-hbase.sh shell > ./bin/hbase shell         > create 'test','xx'         > list 'test'         > exit

四、KYLIN单机安装

先看这两个～比较不错的教程

http://chengjianxiaoxue.iteye.com/blog/2218510

http://www.cnblogs.com/en-heng/p/5170876.html

1、下载apache-kylin-1.2-bin到~/soft/下并解压（路径随意啦）

2、配置：

清空kylin.properties之后配置

kylin.rest.servers=localhost:7070 kylin.rest.timezone=GMT-8 kylin.metadata.url=kylin_metadata@hbase kylin.storage.url=hbase kylin.hdfs.working.dir=/kylin kylin.hbase.cluster.fs=hdfs://localhost:8001/hbase kylin.job.mapreduce.default.reduce.input.mb=500 kylin.server.mode=all kylin.job.run.as.remote.cmd=false kylin.job.remote.cli.working.dir=/tmp/kylin kylin.job.concurrent.max.limit=10 kylin.job.yarn.app.rest.check.interval.seconds=10 kylin.job.hive.database.for.intermediatetable=default kylin.hbase.region.cut.small=10 kylin.hbase.region.cut.medium=20 kylin.hbase.region.cut.large=100 kylin.hbase.region.count.min=1 kylin.hbase.region.count.max=500 ganglia.port=8664 mail.enabled=false kylin.web.help.length=4 kylin.web.help.0=start|Getting Started| kylin.web.help.1=odbc|ODBC Driver| kylin.web.help.2=tableau|Tableau Guide| kylin.web.help.3=onboard|Cube Design Tutorial| deploy.env=DEV kylin.sandbox=true kylin.monitor.ext.log.base.dir = /tmp/kylin_log1,/tmp/kylin_log2 kylin.monitor.query.log.parse.result.table = kylin_query_log

清空

kylin_job_conf.xml中信息（是一些压缩配置等，我是清空的，根据需要吧）

3、增加环境变量 （在~/.bash_profile中）

export KYLIN_HOME=/Users/baidu/soft/kylin export KYLIN_CONF=/Users/baidu/soft/kylin/conf PATH=$PATH:$HADOOP_HOME/sbin:${KYLIN_HOME}/bin

4、启动&测试

shell > ./bin/sample.sh   (自带测试数据) shell > ./bin/kylin start （http://localhost:7070/kylin/cubes）

遇到的问题总结

问题一：

异常：mapreduce.Job: Job job_1428250045856_0002 failed with state FAILED due to: Application xid failed 2 times due to AM Container for appattempt_id exited with  exitCode: 127 due to: Exception from container-launch

问题：Shell命令在Mac上没有找到

解决方案： 1 从错误日志上看应该是某个Shell命令在Mac上没有找到。 2 查看每个程序的日志：hadoop-2.3.0/logs/userlogs/application_1428247759749_0002/container_1428247759749_0002_02_000001中的错误日志：  /bin/bash: /bin/java: No such file or directory 可以看到：/bin/java 的命令没有找到。 建立一个软链接，链接到java程序即可。

问题二：

异常：10020 failed on connection exception: java.net.ConnectException: Connection refused;For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

问题：从错误信息中需要访问端口 10020 可以大概看出，DataNode 需要访问 MapReduce JobHistory Server 配置启动即可

解决方案： vi mapred-site.xml     mapreduce.jobhistory.address        master:10020 启动： sbin/mr-jobhistory-daemon.sh start historyserver

问题三：

异常：[ERROR][org.apache.kylin.job.tools.HadoopStatusChecker.checkStatus(HadoopStatusChecker.java:91)]

问题：你的mr配置未成功，重新配置即可

解决方案：如上配置可拷贝，是我修改之后正确的

问题四：

问题：mac创建软链接，sudo之后无权限      sudo ln -s /usr/bin/java /bin/java

解决方案：这是因为苹果在OS X 10.11中引入的SIP特性使得即使加了sudo（也就是具有root权限）也无法修改系统级的目录，其中就包括了/usr/bin。要解决这个问题有两种做法：一种是比较不安全的就是关闭SIP，也就是rootless特性；另一种是将本要链接到/usr/bin下的改链接到/usr/local/bin下就好了。

问题五：

mac 上 kylin/bin中 cut: illegal option -- - usage: cut -b list [-n] [file ...]        cut -c list [file ...]        cut -f list [-s] [-d delim] [file ...]

原因： Mac预装的Ctags是mac自己的版本，而我们通常所说的ctags是指Exuberant Ctags。（--output-delimiter）在后者才能用的。

解决方案： #arr=(`echo $hive_classpath | cut -d ":"  --output-delimiter=" " -f 1-`) arr=(`echo $hive_classpath |sed 's/:/ /g'`)

#hive_lib=`find -L "$(dirname $hive_exec_path)" -name '*.jar' ! -name '*calcite*' -printf '%p:' | sed 's/:$//'`
hive_lib='/Users/baidu/soft/kylin/tomcat/webapps/kylin/WEB-INF/lib/'

http://www.cnblogs.com/nexiyi/p/mondrian_hive_test.html