Hadoop2.7.6在Windows7单机部署

安装参考: Hadoop2.7.4 在 Windows 10(64位) 详细配置

安装参考: Windows7-8-10安装部署hadoop-2.7.5
1 配置jdk1.8  不要安装在空格的目录中，你会发现hadoop和spark不支持有空格的目录配置

2下载 hadoop-2.7.6

3下载 hadoop2.7.6-windows-64-bit-binaries 后面用到。也可以自己下载Hadoop 2.7.6 Windows 64位 自己编译bin。

4 安装hadoop，解压D:\Soft\hadoop-2.7.6

 5 配置hadoop环境变量   

  HADOOP_HOME:D:\Soft\hadoop-2.7.6

 

path :%HADOOP_HOME%\bin;  追加在Path的最后

 

6修改D:\Soft\hadoop-2.7.6目录权限

 7 检查hadoop环境 hadoop version

8 配置hadoop的配置文件 (namenode,datanode运行读取)

   配置文件目录:D:\Soft\hadoop-2.7.6\etc\hadoop

1) core-site.xml

< configuration >

< property >

< name >hadoop.tmp.dir name >

< value >/D:/Soft/hadoop-2.7.6/workplace/tmp value >

< description >namenode上本地的hadoop临时文件夹 description >

property >

< property >

< name >fs.defaultFS name >

< value >hdfs://localhost:9000 value >

< description >HDFS的URI，文件系统://namenode标识:端口号 description >

property >

configuration >

2)hdfs-site.xml

< configuration >

< property >

< name >dfs.replication name >

< value >1 value >

< description >副本个数，配置默认是3,应小于datanode机器数量 description >

property >

< property >

< name >dfs.data.dir name >

< value >/D:/Soft/hadoop-2.7.6/workplace/data value >

< description >datanode上数据块的物理存储位置 description >

property >

< property >

< name >dfs.name.dir name >

< value >/D:/Soft/hadoop-2.7.6/workplace/name value >

< description >namenode上存储hdfs名字空间元数据  description >

property >

configuration >

3)mapred-site.xml  

没有就将mapred-site.xml.template重命名为mapred-site.xml

< configuration >

< property >

< name >mapreduce.framework.name name >

< value >yarn value >

property >

< property >

< name >mapred.job.tracker name >

< value >hdfs://localhost:9001 value >

property >

configuration >

4)yarn-site.xml

< configuration >

< property >

< name >yarn.nodemanager.aux-services name >

< value >mapreduce_shuffle value >

property >

< property >

< name >yarn.nodemanager.aux-services.mapreduce.shuffle.class name >

< value >org.apache.hadoop.mapred.ShuffleHandler value >

property >

configuration >

9 配置hadoop-env.cmd    

D:\Soft\hadoop-2.7.6\etc\hadoop\hadoop-env.cmd

设置jdk的路径，不然会报错jdk路径找不到

@ rem set JAVA_HOME=%JAVA_HOME%

@ rem 防止java环境变量名称不统一直接写路径

set JAVA_HOME=D:\Soft\java\jdk1.8.0_151

10 替换bin目录文件

D:\Soft\hadoop-2.7.6\bin

将 hadoop2.7.6-windows-64-bit-binaries 中bin目录文件直接替换

11  运行cmd窗口，执行“hdfs namenode -format”

 

12 启动hadoop ，切换到hadoop的sbin目录，执行“start-all.cmd” 启动4个进程

 hadoop环境搭建完毕

13 web控制台资源管理GUI   http://localhost:8088/

 

14 web控制台节点管理GUI   http://localhost:50070/