Win10不需要Cygwin搭建大数据测试环境(1)-Hadoop

系列文章

1:《Win10不需要Cygwin搭建大数据测试环境(1)-Hadoop》
2:《Win10不需要Cygwin搭建大数据测试环境(2)-HBase》
3:《Win10不需要Cygwin搭建大数据测试环境(3)-Java操作HBase》
4:《Win10不需要Cygwin搭建大数据测试环境(4)-Hive》

前言

一直想在windows上装一个hadoop,总是需要cygwin,这个东西一直不是很喜欢,所以一直没有在windows下安装。
今天偶然发现了一篇文章,不需要cygwin,马上尝试一下。
本文是主要参考的文章
http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

准备工作

1:安装JDK1.8。
2:环境变量中添加JAVA_HOME。
3:下载hadoop2.7.3。
4:解压到D盘,路径为D:\hadoop2.7.3。
5:环境变量中添加HADOOP_HOME=D:\hadoop2.7.3\
6:将D:\hadoop2.7.3\bin和D:\hadoop2.7.3\sbin添加到path中。
7:下载一个重要的东西。

hadooponwindows
地址:https://github.com/sardetushar/hadooponwindows
这个是基于hadoop2.7.1的,作者一直没有更新。但是2.7.3是可以运行的,不知道以后会怎么想样! 如果谁有时间可以搞一下这个!

8:删除hadoop下的etc和bin。
9:将hadooponwindows里的etc和bin拷贝到D:\hadoop2.7.1\下。

准备工作完成。

修改配置文件

1:etc/hadoop/core-site.xml

<configuration>
   <property>
       <name>fs.defaultFSname>
       <value>hdfs://localhost:9000value>
   property>
configuration>

2:etc/hadoop/mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.namename>
       <value>yarnvalue>
   property>
configuration>

3:etc/hadoop/hdfs-site.xml

需要参一下这个连接,解释地址参数如何写。

http://stackoverflow.com/questions/34871814/failed-to-start-namenode-in-hadoop

<configuration>
   <property>
       <name>dfs.replicationname>
       <value>1value>
   property>
   <property>
       <name>dfs.namenode.name.dirname>
       <value>file:/hadoop-2.7.3/data/namenodevalue>
   property>
   <property>
       <name>dfs.datanode.data.dirname>
     <value>file:/hadoop-2.7.3/data/datanodevalue>
   property>
configuration>

4:etc\hadoop\yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-servicesname>
       <value>mapreduce_shufflevalue>
    property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
       <value>org.apache.hadoop.mapred.ShuffleHandlervalue>
    property>
configuration>

5:etc/hadoop/hadoop-env.cmd

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111

“program files”由于有空格所以会出错,采用上面的形式就OK了。

执行操作

1:格式化namenode

hdfs namenode -format

2:启动Hadoop

sbin目录下执行

start-all
 
启动了4个窗口,namenode,datanode,yarn resourcemanager,yarn nodemanager.

小插曲:其中yarn resourcemanager这个报错,提示8088端口被占用。结果是我本地的一个软件把这个端口给用了,停掉软件,重新启动正常。

3:停止Hadoop

sbin下执行

stop-all
Hadoop都停止了。

结束语

这样hadoop就在windows上正常运行了。

Resourcemanager GUI address - http://localhost:8088

Namenode GUI address – http://localhost:50070

至此windows下Hadoop安装成功!

你可能感兴趣的:(Java开源框架,大数据)