Win10_x64位配置hadoop-2.7.5开发环境
在安装配置hadoop-2.7.5的环境时必须要配置好Java开发环境
才能安装hadoop。
第一部分:下载安装Java,配置其开发环境
1、下载Java
下载网站:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、下载安装在D盘
双击安装在D盘:D:\Java\jdk1.8.0_161,这是其对应的安装路径
配置路径:
在windows开始搜索栏输入:控制面板。如下图
3、Java环境变量以及路径变量设置
点击控制面板——》系统和安全——》系统——》高级系统设置——》环境变量,如下图所示:
A编辑系统变量:
B、继续编辑系统变量:
变量名:CLASSPATH
变量值:.;%JAVA_HOME%lib;%JAVA_HOME%lib/tools.jar;
C、添加路径:点击Path,新建两个环境变量:
%JAVA_HOME%\bin
%JAVA_HOME%\jre\bin
按照如下图所示
如果要检验Java是否安装完毕,可以在DOS系统在对应路径下输入Java -version查看其安装版本。这里不做演示了。
第二部分hadoop的安装与环境配置
1、下载hadoop
下载网站:这是清华的镜像网站
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/
我选的是稳定版本hadoop-2.7.5版
在D盘创建一个hadoop文件夹将其保存在hadoop文件夹下:解压hadoop-2.7.5.tar.gz文件
用后者的bin和etc文件去替换掉前者的bin和etc文件:注意先删除hadoop-2.7.5下的bin和etc文件再去粘贴hadooponwindows-master的bin和etc文件(也可以自己去编辑)。
目的是减少自己取编辑以下四个文件的补充命令:
l D:\hadoop\hadoop-2.7.5\etc\hadoop\core-site.xml
<configuration>
<property>
<name>fs.defaultFSname>
<value>hdfs://localhost:9000value>
property>configuration>
l D:\hadoop\hadoop-2.7.5\etc\hadoop\mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>configuration>
l D:\hadoop\hadoop-2.7.5\etc\hadoop\hdfs-site.xml
<configuration>
<property>
<name>dfs.replicationname>
<value>1value>
property>
<property>
<name>dfs.namenode.name.dirname>
<value>/hadoop/data/namenodevalue>
property>
<property>
<name>dfs.datanode.data.dirname>
<value>/hadoop/data/datanodevalue>
property>configuration>
l D:\hadoop\hadoop-2.7.5\etc\hadoop\yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
<value>org.apache.hadoop.mapred.ShuffleHandlervalue>
property>configuration
3.修改JDK的安装路径
D:\hadoop\hadoop-2.7.5\etc\hadoop\hadoop-env.cmd (修改JDK的安装路径)
用一个与语言编辑器打开:在“JAVA_HOME=”改成“JAVA_HOME=D:\Java\jdk1.8.0_161”保存如下图所示。
4 、继续配置hadoop的环境变量
其中图中的第3步在新建条件
编辑环境变量
变量名:HADOOP_HOME
变量值:D:\hadoop\hadoop-2.7.5
然后图中的第4步条件下
编辑系统变量添加路径
点击Path下添加变量:%HADOOP_HOME%\bin
全部确定。
5、格式化HDFS文件系统,hdfs namenode -format
如下图所示
然后有一个提示命令Y/N中选择输入Y。如果这一步没有什么异常基本没有问题了。
6、最后,在dos系统下在命令行(管理员)将目录指向D:\hadoop\hadoop-2.7.3\sbin,键入“start-all”
将会弹出以下窗口:
Namenode、Datanode、YARN resourcemanager、YARN nodemanager四个进程启动成功,再看一下网站截图:
7、登陆localhost:8088
谢谢大家,分享完毕。