mac sierra系统本地搭建hadoop 3.0.0

本着提高自身,并方便以后查询的目的,本地搭建hadoop3.0.0,在这里把整个过程详细的梳理一遍,并把自己部署过程中遇到mac系统特有的坑记录下来,方便读者阅读,更方便自己以后查询

安装时参考了文章:Mac OS X EI Captain 安装 Hadoop 3.0.0-alpha2

1、安装依赖

(1)Java

 command+space 呼唤出spotlight搜索,输入terminal,spotlight搜索是一个智能搜索框,mac基本所有的小功能都可以用spotlight快速完成~~
扯远了~,回归正题,输入Java -version 此时你可以在命令行中看到类似结果
ng36$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

注意:hadoop3.0 以后JDK必须是1.8,所以1.7版本的要升级。本文装了1.7和1.8,JDK版本切换参考:MAC JDK版本切换

(2)SSH

首先,在系统打开远程登录、打开系统偏好设置->共享,左边服务栏勾选远程登录,右边勾选所有用户。
输入命令行
ssh localhost
你会看到类似结果
Last login: Mon Jul 24 18:41:48 2017
如果过程中需要输入密码,输入以下命令:
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

(3)安装hadoop

我压缩包和安装包都下载了,本着菜鸡学习的态度,想着把压缩包版和源码版本都搞一遍,典型的自虐倾向呀~~
安装hadoop3.0.0 基本可以按照以上文章就可以了。

(4)遇到的坑

本菜主要讲下遇到的坑。安装成功后,hadoop就可以运行了,但是加载不了Hadoop的本地库,所以需要将hadoop的源码版重新编译一遍将 /lib/native中的文件替换掉安装的hadoop,然后配置一下就可以了 具体可以参考点击打开链接,具体编译过程可以参考[Hadoop] - Hadoop3.0.x编译
但是问题是在编译hadoop源码的时候出现了问题,一直爆出Cmake编译错误。
查询了很多网上所谓专家博客,问题一大堆,解决办法一大堆,但是就是解决不了。正当绝望的时候发现了mac的gcc版本只有4.2.1。-0-,WTF?版本太低了,于是尝试更换GCC版本,尝试很多办法,比如用homebrew下载然后替换系统gcc,但是系统gcc太顽固了,即使用root用户,也改不了。无奈之下找到了一个文章mac如何升级g++的版本?更改默认gcc版本
分享一下编译成果 https://pan.baidu.com/s/1kVhzOEV 密码: wfih

你可能感兴趣的:(数据仓库)