1.1Maven简介
1.2Maven下载
1、由于Maven为开源软件,可在Maven官网自行下载:点击打开链接
2、由于采用Win环境需要下载xxxxbin.zip文件(Linux可下载.tar.gz)
下载完成后可进行解压(建议解压在中文目录下),解压后可见如下目录结构:
解压结束后进行环境变量配置如下:
打开Win下的Dos窗口进行安装检测如下图表示安装成功:
2.1本地Eclips安装Maven插件安装
1、打开Eclips 依次打开 Help->Install new Software
写入网址:http://download.eclipse.org/technology/m2e/releases
2.安装成功后进入Windows->Preferences 进入如下配置界面
至此Maven环境配置成功。
在此配置之前假设你已配置好Hadoop集群。
2.1 用Maven创建一个标准化的Java项目,此处你可采用两种方法,一是通过Eclips中Maven插件进行图像化创建此处不多讲,二是采用命令行窗口。具体Maven使用可参考 Maven使用。
mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=org.gy.myhadoop.mr -DartifactId=myHadoop -DpackageName=org.gy.myhadoop.mr -Dversion=1.0-SNAPSHOT -DinteractiveMode=false
使用DOS窗口在一个英文路径下,执行上述命令:
如绿色英文所示Build Success.
2.2通过DOS进入刚才所构建的项目目录内部执行:(cd myhadoop)
mvn clean install //下载所需要的依赖
如下图所示 Build Success:
2.3 启动Eclips,导入刚才创建的项目。
导入时选择:Existing Maven Project,如下所示:
2.4 修改项目下的pom.xml,增加Hadoop依赖。如下所示
在pox.xml配置如下:本处采用hadoop-1.2.1,可自行更改
4.0.0
org.gy.myhadoop.mr
myHadoop
jar
1.0-SNAPSHOT
myHadoop
http://maven.apache.org
org.apache.hadoop
hadoop-core
1.2.1
junit
junit
3.8.1
test
2.5 DOS窗口再次进入之前提到的myHadoop目录运行:
mvn clean install
更新安装依赖,程序执行后依旧出现同上类似的提示信息,在贴一张图吧。
依旧是明艳的绿字!!!!SUCCESS
更新依赖后,需要在Eclips 中refesh 一下项目。在项目中查看Maven Dependencies, 看到数量庞大的依赖~~
(本人在Hadoop集群采用的是,三台虚拟机,采用centos 6.5 + hadoop1.2.1+ jdk1.8)
从hadoop急群众下载以下三个配置文件:
core-site.xml hdfs-site.xml mapred-site.xml
分别配置如下:
hadoop.tmp.dir
/sof/hadoop/tmp
fs.default.name
hdfs://192.168.183.100:9000
dfs.permissions
false
dfs.http.address
192.168.183.100:50070
The address and the base port where the dfs namenode web ui will listen on.
If the port is 0 then the server will start on a free port.
dfs.name.dir
${hadoop.tmp.dir}/hdfs/name
dfs.data.dir
${hadoop.tmp.dir}/hdfs/data
dfs.replication
2
mapred.job.tracker
192.168.183.100:9001
此外为了方便连接,配置Windows 本地hosts 文件
目录如下:
C:\Windows\System32\drivers\etc
配置
192.168.183.100 master
备注:错误
PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator1855988496\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\Administrator1855988496\.staging to 0700