Mac搭建CDH5.7版本伪分布式集群

Mac搭建CDH5.7版本伪分布式集群

参考：https://www.jianshu.com/p/61137cf00c68

1、下载软件
在下面链接找自己想用的版本、我用的5.7.1
https://archive.cloudera.com/cdh5/cdh/5/

2、打开本机远程登录
打开 系统偏好设置–>共享 ，选中 远程登录。

3、搭建环境
在 User/用户名/ 下建立目录结构,下文用 ~ 代替

mkdir -p ~/cloudera/lib
~/cloudera/cdh5.7
~/cloudera/ops/dn
~/cloudera/ops/logs/hadoop
~/cloudera/ops/logs/hbase
~/cloudera/ops/logs/yarn
~/cloudera/nn
~/cloudera/pids
~/cloudera/tmp
~/cloudera/zk

将下载的文件复制到lib目录下

tar -xvf hadoop-2.6.0-cdh5.7.1.tar.gz
tar -xvf hbase-1.2.0-cdh5.7.1.tar.gz
tar -xvf hive-1.1.0-cdh5.7.1.tar.gz
tar -xvf zookeeper-3.4.5-cdh5.7.1.tar.gz

进入 cdh5.7 目录，执行下面命令，映射文件到lib目录

ln -s ~/cloudera/lib/hadoop-2.6.0-cdh5.7.1 hadoop
ln -s ~/cloudera/lib/hbase-1.2.0-cdh5.7.1 hbase
ln -s ~/cloudera/lib/hive-1.1.0-cdh5.7.1 hive
ln -s ~/cloudera/lib/zookeeper-3.4.5-cdh5.7.1 zookeeper

配置 ~/.bash_profile
CDH="cdh5.7" export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.x_xx.jdk/Contents/Home" export HADOOP_HOME="~/cloudera/${CDH}/hadoop" export HBASE_HOME="~/cloudera/${CDH}/hbase" export HIVE_HOME="~/cloudera/${CDH}/hive" export HCAT_HOME="~/cloudera/${CDH}/hive/hcatalog" export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:${HCAT_HOME}/bin:${PATH}

修改下面文档
$HADOOP_HOME/etc/hadoop/core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
hadoop-env.sh
$HBASE_HOME/conf/hbase-site.xml
hbase-env.sh
根据这个人发布的配置修改，注意要将 jordanh 替换成自己的用户名https://github.com/joropolis/misc-data/tree/master/blog-2014-09-01
注：不需要进行hive的配置，如果进行hive的配置就无法启动hive