一.Windows安装部署hadoop-2.7.5

1. 准备

JDK1.8安装
下载hadoop2.7.5.tar.gz
下载hadooponwindows-master.zip

2.安装Hadoop：

下载好Hadoop2.7.5的压缩包之后，解压到目录，放在m:\soft\hadoop-2.7.5
配置Hadoop环境变量：

• Windows环境变量配置

HADOOP_HOME=M:\soft\hadoop-2.7.5

• 环境变量path，将hadoop的bin目录加入到后面:

 ;%HADOOP_HOME%\bin;

3.修改配置文件

(1).编辑“M:\soft\hadoop-2.7.5\etc\hadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存；

    
        hadoop.tmp.dir
        /M:/soft/hadoop-2.7.5/tmp
    
    
        dfs.name.dir
        /M:/soft/hadoop-2.7.5/name
    
    
        fs.default.name
        hdfs://localhost:9000
    

(2).编辑“M:\soft\hadoop-2.7.5\etc\hadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存:

    
       mapreduce.framework.name
       yarn
    
    
       mapred.job.tracker
       hdfs://localhost:9001
    

(3).编辑“M:\soft\hadoop-2.7.5\etc\hadoop”目录下的hdfs-site.xml文件，粘贴以下内容并保存。请自行创建data目录，在这里我是在HADOOP_HOME目录下创建了data目录:

    
    
        dfs.replication
        1
    
    
        dfs.data.dir
        /M:/soft/hadoop-2.7.5/data
    

(4).编辑“M:\soft\hadoop-2.7.5\etc\hadoop”目录下的yarn-site.xml文件，粘贴以下内容并保存；

    
       yarn.nodemanager.aux-services
       mapreduce_shuffle
    
    
       yarn.nodemanager.aux-services.mapreduce.shuffle.class
       org.apache.hadoop.mapred.ShuffleHandler
    

(5).编辑“M:\soft\hadoop-2.7.5\etc\hadoop”目录下的hadoop-env.cmd文件，将JAVA_HOME用 @rem注释掉，编辑为JAVA_HOME的路径，然后保存:

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=M:\soft\Java\jdk1.8.0_101

替换文件 将下载好的hadooponwindows-master.zip解压，将解压后的*bin目录下的所有文件直接覆盖Hadoop的bin目录*

4.运行环境

(1)运行cmd窗口，执行“hdfs namenode -format”后继续输入'y'

QQ截图20190521170458.png

(2)运行cmd窗口，切换到hadoop的sbin目录，执行“start-all.cmd”，启动所有进程
(3)hadoop浏览webUI界面

• 资源管理GUI:http://localhost:8088/；
• hdfs管理GUI:http://localhost:50070/；