window环境运行hadoop

首先下载hadoop安装包到本地,需要你的电脑已经安装并配置过jdk

安装包以及依赖下载地址:https://download.csdn.net/download/kahhy/10997785

解压之后需要在本地配置Hadoop的环境变量HADOOP_HOME中,在PATH里加上%HADOOP_HOME%\bin;

然后需要修改关于Hadoop的相关配置文件,例如去D:\hadoop-2.8.5\etc\hadoop找到下面4个文件并按如下最小配置粘贴上去:

core-site.xml

复制代码


    
        fs.defaultFS
        hdfs://localhost:9000
        

复制代码

hdfs-site.xml

复制代码


    
        dfs.replication
        1
    
        
        dfs.namenode.name.dir    
        file:/hadoop/data/dfs/namenode    
        
        
        dfs.datanode.data.dir    
        file:/hadoop/data/dfs/datanode  
    

复制代码

mapred-site.xml

复制代码


    
        mapreduce.framework.name
        yarn
    

复制代码

yarn-site.xml

复制代码


    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    

复制代码

修改完后,启动windows命令行窗口,进入hadoop-2.8.5\bin目录,执行下面2条命令,先格式化namenode再启动hadoop

复制代码

D:\hadoop-2.7.2\bin>hadoop namenode -format

最后启动本地的Hadoop服务

D:\hadoop-2.7.2\bin>cd ..\sbin

D:\hadoop-2.7.2\sbin>start-all.cmd

查看当前已启动的相关服务

D:\hadoop-2.7.2\sbin>jps
4944 DataNode
5860 NodeManager
3532 Jps
7852 NameNode
7932 ResourceManager

通过jps命令可以看到4个进程都拉起来了,到这里hadoop的安装启动已经完事了。

这时候我们可以在浏览器中访问localhost:8088查看mapreduce任务,localhost:50070查看hdfs文件。

关系Hadoop服务命令 start-all.cmd

你可能感兴趣的:(window环境运行hadoop)