Hadoop在Windows10下的安装及简单操作

• Hadoop环境搭建

准备工作：

首先从网站https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载匹配Windows x64的JDK安装文件。之后按流程一步步安装即可。最后修改系统环境变量。

正式安装：

安装好JDK之后在http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common网站上下载hadoop并解压，我解压到了D盘的根目录下，在D:\hadoop-2.8.4\etc\hadoop找到下面4个文件并进行以下修改：

打开D:\hadoop-2.8.4\etc\hadoop\core-site.xml将以下部分复制到configuration中：

        

                fs.defaultFS

                hdfs://localhost:9000

        

打开D:\hadoop-2.8.4\etc\hadoop\mapred-site.xml将以下部分复制到configuration中：

        

                mapreduce.framework.name

                yarn

        

打开D:\hadoop-2.8.4\etc\hadoop\yarn-site.xml将以下部分复制到configuration中：

        

                yarn.nodemanager.aux-services

                mapreduce_shuffle

        




                yarn.nodemanager.aux-services.mapreduce.shuffle.class

                org.apache.hahoop.mapred.ShuffleHandler

        

打开D:\hadoop-2.8.4\etc\hadoop\hdfs-site.xml 将以下部分复制到configuration中：

    

        dfs.replication

        1

    

        

        dfs.namenode.name.dir    

        file:/hadoop/data/dfs/namenode    

        

        

        dfs.datanode.data.dir    

        file:/hadoop/data/dfs/datanode  

    

之后修改系统的环境变量，把D:\hadoop-2.8.4\bin;D:\hadoop-2.8.4\sbin加入到环境变量中，并新建变量HADOOP_HOME，其变量值为：D:\hadoop-2.8.4\bin。

将D:\hadoop-2.8.4\etc\hadoop\hadoop-env.cmd用记事本打开修改其中的JAVA_HOME为开始JDK的安装路径，注意要把program Files 修改为Progra~1（路径中不能有空格）。

此时hadoop安装成功！

2.操作实例：

打开cmd进入hadoop安装路径并输入以下命令：

之后有如下输出：

之后进入sbin路径下键入如下命令：

此时会弹出四个新的cmd窗口：

在浏览器中输入：http://localhost:8088/cluster可以看到YARN界面：

在Hadoop中创建文件夹：

查看创建的文件夹：