Mac搭建hadoop平台

1.一直想在虚拟机下的ubuntu搭建hadoop平台,前段时间全部搞定,最近挂掉了,然后平台搭建出现问题啦。卡了几天,然后决定抛弃虚拟机,直接在mac搭建。

跟虚拟机一样,需要安装ssh。

此文不做介绍。

直接介绍hadoop平台的搭建:

1.官网下载haoop2.9.0。解压后直接移动/Users/yangting/

(1).进入/Users/yangting/hadoop-2.9.0/etc/hadoop目录下:打开:

修改一下两处为:

(2) 配置hdfs地址和端口进入目录打开core-site.xml

yangtingdeMacBook-Pro:hadoop yangting$ open core-site.xml 

Mac搭建hadoop平台_第1张图片

(3)  配置mapreduce中jobtracker的地址和端口
在相同的目录下,你可以看到一个mapred-site.xml.template首先将文件重命名为mapred-site.xml,同样将替换为

yangtingdeMacBook-Pro:hadoop yangting$ cp mapred-site.xml.template  mapred-site.xml

yangtingdeMacBook-Pro:hadoop yangting$ open mapred-site.xml

Mac搭建hadoop平台_第2张图片
(4) 修改hdfs备份数
相同目录下,打开hdfs-site.xml加上

yangtingdeMacBook-Pro:hadoop yangting$ open hdfs-site.xml 

Mac搭建hadoop平台_第3张图片

(5)

格式化HDFS

这个操作相当于一个文件系统的初始化,执行命令hdfs namenode -format
在终端最终会显示成功

yangtingdeMacBook-Pro:etc yangting$ hdfs namenode -format

(6) 配置Hadoop环境变量

单个用户设置

~/.bash_profile (任意一个文件中添加用户级环境变量)

Mac搭建hadoop平台_第4张图片

只需看与hadoop相关的配置

最后启动: ./sbin/start-all.sh 

执行:j p s

Mac搭建hadoop平台_第5张图片

你可能感兴趣的:(大数据)