window7安装hadoop2.7.5

hadoop本来是在centos7上运行的,然而当我在window7中用idea开发时,在调用api下载centos7上的文件时发现,api居然要调用本地(win7环境)hadoop的shell指令,这就很蛋疼了。。。。
本来官网提供的就是linux版本,实际情况是在开发中,非要在window环境下调一下hadoop的shell指令~
下面介绍一下window的hadoop2.7.5如何配置~

一:安装准备

  1. JDK1.8安装,不会的自己百度一下,这里不在累赘
  2. 下载hadoop
    window7安装hadoop2.7.5_第1张图片
  3. 下载window版的hadoop2.7.5破解包

完成上面3步之后,hadoop的已经完成一半了,再配置一下,hadoop就能运行起来了~~


二:配置步骤

  1. 下载好Hadoop2.7.5的压缩包之后,解压到目录,我放在D:\hadoop-2.7.5
  2. 配置Hadoop环境变量
    window7安装hadoop2.7.5_第2张图片
    window7安装hadoop2.7.5_第3张图片
  3. 将刚刚下载的hadoop2.7.5破解包的bin目录整个替换D:\hadoop-2.7.5\bin目录
  4. 配置一下hadoop的运行文件:
    将目录切换到D:\hadoop-2.7.5\etc\hadoop下
    1. 编辑core-site.xml文件



fs.defaultFS
hdfs://localhost:9000



hadoop.tmp.dir
/F:/bigdata/hadoop-2.7.5/workplace/tmp


  1. 编辑mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)

       
mapreduce.framework.name       
yarn    
    

  1. 编辑hdfs-site.xml文件

    
        
dfs.replication        
1    
    

        
dfs.data.dir        
/F:/bigdata/hadoop-2.7.5/workplace/data    



dfs.name.dir
/F:/bigdata/hadoop-2.7.5/workplace/name


  1. 编辑yarn-site.xml文件
       
yarn.nodemanager.aux-services       
mapreduce_shuffle    
    

       
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler    

  1. 编辑hadoop-env.cmd文件
set JAVA_HOME=D:\java\jdk(这里替换成自己jdk路径,这个东东大概在58行)

自此,hadoop的运行环境全部配置完成,下面我们来启动一下~

三: 运行:

  1. 首先在cmd里输入hadoop version,看看有没有出现版本信息,没有的话估计是path环境没有配对
  2. 使用cmd切换到D:\hadoop-2.7.5\bin目录下,然后执行:
    hdfs namenode -format(格式化)
  3. cmd再切换到D:\hadoop-2.7.5\sbin目录下,然后执行
    start-all.cmd
    如果有4个终端弹出来,说明hadoop已经启动起来了

四:测试

  1. 资源管理GUI:http://localhost:8088/
    window7安装hadoop2.7.5_第4张图片
  2. 节点管理GUI:http://localhost:50070/
    window7安装hadoop2.7.5_第5张图片

你可能感兴趣的:(框架工具类)