如何在Windows下搭建Hadoop

如何在Windows下搭建Hadoop

一、下载文件并安装JDK
1.JDK
2.Hadoop
3.Windows

二、Hadoop环境配置
下载Hadoop，并解压到你的本地目录，我下载的是hadoop-2.5.2版本，解压在D:\hadoop\hadoop-2.5.2。

三、配置Hadoop的环境变量
1.计算机 –>属性 –>高级系统设置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME
2.Path环境变量下配置【%HADOOP_HOME%\bin;】变量

四、配置Hadoop文件
1.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存。


hadoop.tmp.dir
/D:/hadoop/workplace/tmp


dfs.name.dir
/D:/hadoop/workplace/name


fs.default.name
hdfs://localhost:9000


2.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”目录下的mapred-site.xml(如果不存在将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存。


mapreduce.framework.name
yarn


mapred.job.tracker
hdfs://localhost:9001


3.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”目录下的hdfs-site.xml文件，粘贴以下内容并保存。

dfs.replication 1 dfs.data.dir /D:/hadoop/workplace/data 4.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”目录下的yarn-site.xml文件，粘贴以下内容并保存。 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler 5.编辑“D:\hadoop\hadoop-2.5.2\etc\hadoop”目录下的hadoop-env.cmd文件，将JAVA_HOME用 @rem注释掉，编辑为JAVA_HOME的路径，然后保存。 @rem set JAVA_HOME=%JAVA_HOME% set JAVA_HOME=D:\java\jdk **五、替换文件** 将1.3下载到的hadooponwindows-master.zip，解压，将全部bin目录文件替换至hadoop目录下的bin目录。

六、运行环境
1.运行cmd窗口，执行hdfs namenode -format。
2.运行cmd窗口，切换到hadoop的sbin目录，执行start-all.cmd，它将会启动以下4个进程窗口。