2021-01-05

1. Java

• 下载Java 1.8 64位版本https://java.com/en/download/. 如果不是64位java，在启动资源节点管理器时会出现错误

• Java 安装自选目录, 必须是中间不带空格的目录结构：比如 C:\java64 

• 安装完成后，使用“java -version”命令在命令行中确认运行了正确的版本

　　

C:\Users>java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)

 

2. WinRAR/7-ZIP

• 下载并安装WinRAR 64位版本，用来解压Windows上的Linux类型tar.gz包： http://www.rarlab.com/download.htm

• 或者使用7-zip： https://www.7-zip.org/download.html

 

3. Hadoop

• 安装Hadoop发行版。二进制包: https://archive.apache.org/dist/hadoop/common/hadoop-2.9.1/hadoop-2.9.1.tar.gz

• 解压并将文件夹名重命名为hadoop，并将其放在C:\Learning

• 目录名字中间不要有空格(因为Hadoop初始开发基于linux， linux 文件名字不能有空格)。

 

3. 1 Setup Environmental Variables

 

 

添加以下目录到path变量:

 

 

 

3.2 Edit Hadoop Configuration

注意：如果你不想自己配置下面 3.2 过程， 除了3.2.3 其它的步骤可以忽略， 那么下载下面链接（bin data etc）文件夹放到你的hadoop目录下覆盖（https://github.com/yjy24/bigdata_learning ）, 然后从3.2.3 开始继续！

 

3.2.1 新建data 目录和子目录 

• c:/Learning/hadoop/data
• c:/Learning/hadoop/data/namenode
• c:/Learning/hadoop/data/datanode

3.2.2 修改 Hadoop 配置文件

• HDFS服务地址

 

a) C:\Learning\hadoop\etc\hadoop\core-site.xml


  
    fs.defaultFS
    hdfs://localhost:9000
  

•  加入如下内容到mapreduce 框架设置文件

 

b)  C:\Learning\hadoop\etc\hadoop\mapred-site.xml


  
    mapreduce.framework.name
    yarn
  

 

 

• 添加namenode 和 datanode 目录设置

 

c) C:\Learning\hadoop\etc\hadoop\hdfs-site.xml


    
    dfs.replication
    1
  
      
    dfs.namenode.name.dir
    file:///Learning/hadoop/data/namenode
  
      
    dfs.datanode.data.dir
    file:///Learning/hadoop/data/datanode
  

 

 

•  添加如下内容到Yarn配置文件

 

D:\Learning\hadoop\etc\hadoop\yarn-site.xml


     
        yarn.resourcemanager.hostname
        0.0.0.0
    
    
        yarn.nodemanager.local-dirs
        file:///c:/Learning/hadoop/tmp
    
  
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  
    
    yarn.nodemanager.aux-services.mapreduce.shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler
  

 

 

• 设置 JAVA_HOME 目录到 hadoop-env.cmd. 文件第一行。

 

e) C:\Learning\hadoop\etc\hadoop\hadoop-env.cmd
显性设置JAVA_HOME
set JAVA_HOME=C:\java64

 

3.2.3 下载配置Windows 环境需要的库文件

• 1. 安装 Visual C++ 2010 Redistributable Package (x64)： https://www.microsoft.com/en-us/download/details.aspx?id=14632

• 2. 把 winutils.exe 等 windows 需要的文件放到 C:\Learning\hadoop\bin 下面。

　　　　下载 https://github.com/yjy24/bigdata_learning 下面的bin 直接覆盖C:\Learning\hadoop\bin。 

• 3. 把里面的 hadoop.dll  拷贝到 C:\Windows\System32 一份

 

3.3 启动Hadoop 

3.3.1 查看hadoop version：

首先在cmd里输入hadoop version，看看有没有出现版本信息，没有的话估计是path环境没有配对

3.3.2 格式化 Hadoop namenode：

使用cmd切换到D:\hadoop-2.7.5\bin目录下，然后执行：
hdfs namenode -format（格式化）

3.3.3 启动 Hadoop 所有的服务：

 

• cmd再切换到D:\hadoop-2.7.5\sbin目录下，然后执行

C:\Learning\hadoop\sbin\start-all.cmd   

要用管理员身份运行，四个service窗口会打开运行， 包括HDFS 的数据节点 和 Yarn 管理器服务进程 

 

3.4 Open Hadoop GUI

1. 资源管理GUI:http://localhost:8088/cluster， 这里可以查看job的运行情况 log 信息。
   
2. 节点管理GUI:http://localhost:50070/