Hadoop2.7.6在Windows7单机部署

安装参考:Hadoop2.7.4 在 Windows 10(64位) 详细配置

安装参考:Windows7-8-10安装部署hadoop-2.7.5
1 配置jdk1.8 不要安装在空格的目录中，你会发现hadoop和spark不支持有空格的目录配置

2下载hadoop-2.7.6

3下载https://download.csdn.net/download/hellozhxy/10602950后面用到。也可以自己下载Hadoop 2.7.6 Windows 64位 自己编译bin。

4 安装hadoop，解压D:\Soft\hadoop-2.7.6

 5 配置hadoop环境变量   

 HADOOP_HOME:D:\Soft\hadoop-2.7.6

 

path :%HADOOP_HOME%\bin;  追加在Path的最后

 

6修改D:\Soft\hadoop-2.7.6目录权限

 7 检查hadoop环境 hadoop version

 

8 配置hadoop的配置文件 (namenode,datanode运行读取)

   配置文件目录:D:\Soft\hadoop-2.7.6\etc\hadoop

1) core-site.xml

 

hadoop.tmp.dir

/D:/Soft/hadoop-2.7.6/workplace/tmp

namenode上本地的hadoop临时文件夹

fs.defaultFS

hdfs://localhost:9000

HDFS的URI，文件系统://namenode标识:端口号

 

2)hdfs-site.xml

dfs.replication

1

副本个数，配置默认是3,应小于datanode机器数量

dfs.data.dir

/D:/Soft/hadoop-2.7.6/workplace/data

datanode上数据块的物理存储位置

dfs.name.dir

/D:/Soft/hadoop-2.7.6/workplace/name

namenode上存储hdfs名字空间元数据 

3)mapred-site.xml  

没有就将mapred-site.xml.template重命名为mapred-site.xml

mapreduce.framework.name

yarn

mapred.job.tracker

hdfs://localhost:9001

4)yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

 

9 配置hadoop-env.cmd    

D:\Soft\hadoop-2.7.6\etc\hadoop\hadoop-env.cmd

设置jdk的路径，不然会报错jdk路径找不到

@rem set JAVA_HOME=%JAVA_HOME%

@rem 防止java环境变量名称不统一直接写路径

set JAVA_HOME=D:\Soft\java\jdk1.8.0_151

 

10 替换bin目录文件

D:\Soft\hadoop-2.7.6\bin

将 hadoop2.7.6-windows-64-bit-binaries 中bin目录文件直接替换

 

11  运行cmd窗口，执行“hdfs namenode -format”

 

12 启动hadoop ，切换到hadoop的sbin目录，执行“start-all.cmd” 启动4个进程

 hadoop环境搭建完毕

 

13 web控制台资源管理GUI   http://localhost:8088/

 

14 web控制台节点管理GUI   http://localhost:50070/