hadoop2.4在windows7搭建单节点环境的简要介绍

阅读更多

本文参照  hadoop2.2在window7上搭建单节点环境进行实施

      

 想了解hadoop，所以就下了最新的文件，搭建相关的环境，以下为自己在win7上搭建hadoop的相关步骤。要在64位windows7中进行，否则需要自己编译hadoop-commin中的动态库和可执行文件。

        1、下载hadoop-2.4.0.tar.gz，用winRAR解压。（路径不能有空格）解压到d:\hadoop目录下

        2、安装java，此处就不做讲解了。jdk版本在1.7+

        3、配置hadoop的环境变量HADOOP_HOME="HADOOP的安装目录" 如d:\hadoop\hadoop.2.4.0

        4、在环境变量的PATH中加入HADOOP的安装目录/bin   如%HADOOP_HOME%/bin

        5、配置JAVA_HOME变量为当前java的安装路径。

        6、下载hadoop-commin-2.2.zip（由于没找到2.4对应的编译版本。采用2.2版本的也可以用。）,因为在windows下运行，压缩包里面缺少 winutils.exe, hadoop.dll等文件，下载完成后，将要报下面的bin目录下的所有文件全部拷贝到hadoop目录下的bin文件夹下。

        7、修改配置文件，以下四个文件全部在hadoop目录下的etc/hadoop目录下

修改core-site.xml，如下：

01 xml version="1.0" encoding="UTF-8"?>
02 xml-stylesheet type="text/xsl" href="configuration.xsl"?>
03
16
17
18
19 <configuration>
20     <property>
21         <name>fs.defaultFSname>
22         <value>hdfs://localhost:9000value>
23     property>
24 configuration>

        修改hdfs-site.xml如下：

01 xml version="1.0" encoding="UTF-8"?>
02 xml-stylesheet type="text/xsl" href="configuration.xsl"?>
03
16
17
18
19 <configuration>
20     <property>
21         <name>dfs.replicationname>
22         <value>1value>
23     property>
24     <property>
25         <name>dfs.namenode.name.dirname>
26         <value>file:/hadoop/data/dfs/namenodevalue>
27     property>
28     <property>
29         <name>dfs.datanode.data.dirname>
30         <value>file:/hadoop/data/dfs/datanodevalue>
31     property>
32 configuration>

修改yarn-site.xml如下：

01 xml version="1.0"?>
02
15 <configuration>
16     <property>
17        <name>yarn.nodemanager.aux-servicesname>
18        <value>mapreduce_shufflevalue>
19     property>
20     <property>
21        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
22        <value>org.apache.hadoop.mapred.ShuffleHandlervalue>
23     property>
24 configuration>

修改mapred-site.xml如下：

01 xml version="1.0"?>
02 xml-stylesheet type="text/xsl" href="configuration.xsl"?>
03
16
17
18
19 <configuration>
20     <property>
21        <name>mapreduce.framework.namename>
22        <value>yarnvalue>
23     property>
24 configuration>

 

然后打开cmd，运行hadoop namenode -format命令,运行结果基本如下：

d:\hadoop\hadoop-2.4.0\bin>hdfs namenode -format
注意观查控制台信息如果没有报错会在/hadoop/data/dfs/namenode下和/hadoop/data/dfs/datanode下生成一些文件。

 

 

然后在cmd下切换目录到hadoop2.4.0目录下的sbin目录下，运行start-all 会打开四个cmd窗口，可以打开浏览器输入 http://localhost:8042以及http://localhost:50070查看是否配置成功！