mac搭建Hadoop环境流程

一、下载Hadoop源码

这里有所有Hadoop历史版本，我搭建的是Hadoop2.9版本，下载完成后，放到本地合适的目录下

二、Hadoop环境变量配置

打开.bash_profile文件

vim ~/.bash_profile

进入编辑模式配置hadoop环境路径

export HADOOP_HOME=/Users/Xiaopeng/Projects/hadoop/hadoop-2.8.2
export PATH=$PATH:$HADOOP_HOME/bin

使修改后的配置生效

source ~/.bash_profile

查看hadoop版本

hadoop version

三、修改Hadoop 的配置文件

1、修改hadoop-env.sh 文件

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_191.jdk/Contents/Home
export HADOOP_CONF_DIR=/Users/Xiaopeng/Projects/hadoop-2.9.2/etc/hadoop

2、修改core_site.xml 文件

设置Hadoop的临时目录和文件系统，localhost:9000表示本地主机。如果使用远程主机，需要使用ip或者域名表示，需要到/etc/hosts 文件中做DNS 映射，在core-site.xml 中的配置如下:

	
    fs.defaultFS
    hdfs://localhost:9000
  

  
  
    hadoop.tmp.dir
    /Users/Xiaopeng/Projects/hadoop-2.9.2/tmp
  

3、修改hdfs-site.xml 文件

配置namenode 和 datanode 的存储路径

	
		dfs.replication
		1
	
	
	
		dfs.permissions
		false    
	
        
        
                dfs.namenode.name.dir
                /home/hadoop/cdh4/hadoop/dfs/name
        
        
        
                dfs.datanode.data.dir
                /data1/hadoop
        

4、修改mapred-site.xml 文件

/etc/hadoop文件夹下没有mapred-site.xml 文件，需要将 mapred-site.xml.template 拷贝一下再修改

  
    
    mapreduce.framework.name
    yarn
  

5、修改yarn-site.xml 文件

配置资源管理器yarn

  
  
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  
  
    yarn.resourcemanager.address
    localhost:9000
  

三、启动Hadoop

1、hdfs启动

首先进入sbin目录

cd /Users/Xiaopeng/Projects/hadoop-2.9.2/sbin

namenode 初始化

hadoop namenode -format

启动hdfs

./start-dfs.sh

如果遇到“connection refused”，则需要打开远程登录许可，如下图，添加当前用户，使其能远程登录

如果遇到 “Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.” 问题，则是hadoop配置 的环境变量没有设置好 或者设置错误，需要重新设置

export HADOOP_CONF_DIR = $HADOOP_HOME/etc/hadoop

2、yarn 启动

在sbin目录运行命令

./start-yarn.sh

至此就可以打开 http://localhost:50070/ 查看hadoop运行情况了