Maven + Hadoop + Ecilips环境配置(Win7)

 1.MAVEN 环境配置

1.1Maven简介

1.2Maven下载

        1、由于Maven为开源软件,可在Maven官网自行下载:点击打开链接

        2、由于采用Win环境需要下载xxxxbin.zip文件(Linux可下载.tar.gz)

             下载完成后可进行解压(建议解压在中文目录下),解压后可见如下目录结构:

        Maven + Hadoop + Ecilips环境配置(Win7)_第1张图片

         解压结束后进行环境变量配置如下:

                                 Maven + Hadoop + Ecilips环境配置(Win7)_第2张图片

         打开Win下的Dos窗口进行安装检测如下图表示安装成功:

Maven + Hadoop + Ecilips环境配置(Win7)_第3张图片

2.1本地Eclips安装Maven插件安装

    1、打开Eclips 依次打开 Help->Install new Software

 写入网址:http://download.eclipse.org/technology/m2e/releases

Maven + Hadoop + Ecilips环境配置(Win7)_第4张图片

2.安装成功后进入Windows->Preferences 进入如下配置界面

Maven + Hadoop + Ecilips环境配置(Win7)_第5张图片

至此Maven环境配置成功。

 2.Hadoop 环境配置

        在此配置之前假设你已配置好Hadoop集群。

        2.1  用Maven创建一个标准化的Java项目,此处你可采用两种方法,一是通过Eclips中Maven插件进行图像化创建此处不多讲,二是采用命令行窗口。具体Maven使用可参考 Maven使用。

mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=org.gy.myhadoop.mr -DartifactId=myHadoop -DpackageName=org.gy.myhadoop.mr -Dversion=1.0-SNAPSHOT -DinteractiveMode=false
使用DOS窗口在一个英文路径下,执行上述命令:

Maven + Hadoop + Ecilips环境配置(Win7)_第6张图片

如绿色英文所示Build Success. 

2.2通过DOS进入刚才所构建的项目目录内部执行:(cd myhadoop)

mvn clean install  //下载所需要的依赖

如下图所示 Build Success:

Maven + Hadoop + Ecilips环境配置(Win7)_第7张图片

2.3 启动Eclips,导入刚才创建的项目。

导入时选择:Existing Maven  Project,如下所示:

Maven + Hadoop + Ecilips环境配置(Win7)_第8张图片

2.4 修改项目下的pom.xml,增加Hadoop依赖。如下所示

Maven + Hadoop + Ecilips环境配置(Win7)_第9张图片

在pox.xml配置如下:本处采用hadoop-1.2.1,可自行更改


  4.0.0
  org.gy.myhadoop.mr
  myHadoop
  jar
  1.0-SNAPSHOT
  myHadoop
  http://maven.apache.org
  

org.apache.hadoop
hadoop-core
1.2.1

    
      junit
      junit
      3.8.1
      test
    
  

2.5 DOS窗口再次进入之前提到的myHadoop目录运行:

mvn clean install
更新安装依赖,程序执行后依旧出现同上类似的提示信息,在贴一张图吧。

Maven + Hadoop + Ecilips环境配置(Win7)_第10张图片

依旧是明艳的绿字!!!!SUCCESS

更新依赖后,需要在Eclips 中refesh 一下项目。在项目中查看Maven Dependencies, 看到数量庞大的依赖~~

Maven + Hadoop + Ecilips环境配置(Win7)_第11张图片


3.本地从Hadoop集群环境下载Hadoop配置文件

(本人在Hadoop集群采用的是,三台虚拟机,采用centos 6.5 + hadoop1.2.1+ jdk1.8)

从hadoop急群众下载以下三个配置文件:

core-site.xml                      hdfs-site.xml                      mapred-site.xml

分别配置如下:







 
         hadoop.tmp.dir
         /sof/hadoop/tmp
 
 
 	 fs.default.name
 	 hdfs://192.168.183.100:9000
  








dfs.permissions
false

	
	dfs.http.address
	192.168.183.100:50070
	
	The address and the base port where the dfs namenode web ui will listen on.
	If the port is 0 then the server will start on a free port.
	

  
	
                   dfs.name.dir
                   ${hadoop.tmp.dir}/hdfs/name
        
   
        
                    dfs.data.dir
                    ${hadoop.tmp.dir}/hdfs/data
        
 
 	dfs.replication
 	2
 









        mapred.job.tracker
        192.168.183.100:9001
 


此外为了方便连接,配置Windows 本地hosts 文件

目录如下:

C:\Windows\System32\drivers\etc
配置
192.168.183.100 master


备注:错误

PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator1855988496\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator1855988496\.staging to 0700

你可能感兴趣的:(Hadoop,配置,Maven)