windows10安装hadoop3.0.2

1、下载hadoop和winutils

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

https://github.com/steveloughran/winutils（windows安装需要）

下载相关工具类，直接解压后把文件丢到D:\jyd\bigdata\hadoop-3.0.2\bin目录中去，将其中的hadoop.dll在c:/windows/System32下也丢一份；

配置环境变量HADOOP_HOME中，在PATH里加上%HADOOP_HOME%\bin；

 

2、配置

java 路径不能有空格，采用以下配置方式或者没有空格的目录

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_172

 

去D:\jyd\bigdata\hadoop-3.0.2\etc\hadoop找到下面4个文件并按如下最小配置粘贴上去：

core-site.xml

fs.defaultFS

hdfs://localhost:9000

hdfs-site.xml（注意permissions的配置）

dfs.replication

1

dfs.permissions

false

dfs.namenode.name.dir

/D:/hadoop/data/dfs/namenode

dfs.datanode.data.dir

/D:/hadoop/data/dfs/datanode

mapred-site.xml

mapreduce.framework.name

yarn

yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler

 

3、开启hadoop

以下命令均以管理员的权限执行

进入bin目录执行 hadoop namenode -format

 

cd ..\sbin

 

start-all.cmd

 

jps查看进程

 

HDFS应用

1、通过http://127.0.0.1:8088/即可查看集群所有节点状态：

2、访问http://localhost:9870/即可查看文件管理页面：

• 进入文件管理页面：

Note：在之前的版本中文件管理的端口是50070，在3.0.0中替换为了9870端口，具体变更信息来源如下官方说明

http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Web_Interface