Windows 10 安装和配置Hadoop

Windows 10 安装和配置Hadoop

1. 下载最新的Hadoop包。这里假设Java已经安装成功了，各种环境变量也都设置好了。
2. 把文件解压。最好找一个长度短点的路径，不然有时路径里的空格也会引起问题。解压好了就算是安装了。
   
3. 设置环境变量。新手一定不能因为好多的路径就跳过去这一步，这个是必不可少的。
   首先设置名为HADOOP_HOME的System variables （新建点击New）。把我的路径名改成你的，记住一定要是到bin的路径。
   
   下来设置Path。还是在System variables里 ，双击Path点进去就是下面的样子。
   
   我高亮出我的路径，你也可以用HADOOP_HOME代替bin前面的路径。使用New添加一个新的给HADOOP就好了。
4. 下面就是配置Hadoop了，总共最多有6个点需要修改。
   第一个是在Hadoop的根目录下创建文件夹data，然后在其下创建两个子文件夹datanode和namenode。
   
   第二个是确认../etc/hadoop/core-site.xml文件中有如下代码：

<configuration>
   <property>
       <name>fs.defaultFSname>
       <value>hdfs://localhost:9000value>
   property>
configuration>

第三个是确认../etc/hadoop/mapred-site.xml文件中有如下代码：

<configuration>
   <property>
       <name>mapreduce.framework.namename>
       <value>yarnvalue>
   property>
configuration>

第四个是确认../etc/hadoop/hdfs-site.xml文件中有如下代码（记得用你自己的namenode和datanode的地址代替下面的地址。）：

<configuration>
 <property>
        <name>dfs.replicationname>
        <value>1value>
    property>
    <property>
        <name>dfs.namenode.name.dirname>
        <value>C:\hadoop-2.7.6.tar\hadoop-2.7.6\hadoop-2.7.6\data\namenodevalue>
    property>
    <property>
        <name>dfs.datanode.data.dirname>
        <value>C:\hadoop-2.7.6.tar\hadoop-2.7.6\hadoop-2.7.6\data\datanodevalue>
    property>
configuration>

第五个是确认../etc/hadoop/yarn-site.xml文件中有如下代码：

<configuration>
    <property>
       <name>yarn.nodemanager.aux-servicesname>
       <value>mapreduce_shufflevalue>
    property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
       <value>org.apache.hadoop.mapred.ShuffleHandlervalue>
    property>
configuration>

第六个是确认../etc/hadoop/hadoop-env.cmd文件中有如下修改（上面是原始的文件，下面是修改过的。总共三个地方要修改。你要不知道自己的username就先别修改，运行一下下面的测试，返回的报错里会显示的。）：



马上就大功告成啦！现在我们配置一下文件格式。通过cmd进入文件夹C:\hadoop-2.7.6.tar\hadoop-2.7.6\hadoop-2.7.6\bin。然后运行

hdfs namenode -format

然后进入sbin文件输入：start-all.cmd。之后会有是四个窗口跳出来，分别是：

• Hadoop Namenode
• Hadoop datanode
• YARN Resourc Manager
• YARN Node Manager

还可以访问http://localhost:8088 和 http://localhost:50070。完成～接下来可以配置Eclipse了。

注意：如果你在format那里进行了多次，记得把原来生成的文件都删掉，不然或报错，因为有多个ID产生了冲突。详见Hadoop Exception: All specified directories are failed to load。