第一步:Hadoop 官网下载地址:https://hadoop.apache.org/releases.html。
第二步:将下载hadoop-3.0.0.tar.gz 解压至指定文件夹 C:\hadoop
第三步:配置hadoop 涉及环境变量:
HADOOP_HOME:
PATH :
第四步:涉及Hadoop配置 :
1、修改C:/hadoop/hadoop-3.0.0/etc/hadoop/core-site.xml配置:
2、修改C:/hadoop/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:
3、在C:/hadoop/hadoop-3.0.0目录下创建data目录,作为数据存储路径:
在C:/hadoop/hadoop-3.0.0/data目录下创建datanode目录;
在C:/hadoop/hadoop-3.0.0/data目录下创建namenode目录;
4、修改C:/hadoop/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:
5、修改C:/hadoop/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:
6、修改C:/hadoop/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置,找到"set JAVA_HOME=%JAVA_HOME%"替换为set JAVA_HOME=set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_162
7、bin目录替换,至https://github.com/steveloughran/winutils下载解压
找到对应的版本后完整替换bin目录即可
至此配置完成.
第五步:启动Hadoop 服务
启动Hadoop 格式化:C:\Users\zzg>hadoop namenode -format
通过start-all.cmd启动服务: C:\Users\zzg>start-all.cmd
此时可以看到同时启动了如下4个服务:
Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager
第六步:Hadoop涉及应用
1、通过http://127.0.0.1:8088/即可查看集群所有节点状态:
2、访问http://localhost:9870/即可查看文件管理页面:
进入文件管理页面:
创建目录:
上传文件
上传成功
注意:在之前的版本中文件管理的端口是50070,在3.0.0中替换为了9870端口,具体变更信息来源如下官方说明 http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Web_Interface
3、通过hadoop命令行进行文件操作:
mkdir命令创建目录:hadoop fs -mkdir hdfs://localhost:9000/user
如下新增的user目录
put命令上传文件:hadoop fs -put C:\Users\songhaifeng\Desktop\11.txt hdfs://localhost:9000/user/
如下上传文件
ls命令查看指定目录文件列表:hadoop fs -ls hdfs://localhost:9000/user/