hadoop mapreduce依赖第三方jar的处理方式
生命中需要一次说走就走的旅程
hadoop帮助我们从浩瀚星海般的资源中 开凿出一条通往目的地的捷径 ......
直接入正题吧 公司项目，我总不能只用hadoop自带的jar写程序吧，我需要引入很多第三方jar包，来完成我整个业务
我的hadoop路径为HADOOP_INSTALL
/home/hadoop/hadoop-1.0.1/
然后我有2个项目 分别取名为 hadoopA hadoopB
现在AB项目都要使用hadoop 但是分别各自依赖的第三方jar包 如何管理才好
1 首先我们要配置好maven依赖 pom.xml内容参考如下
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>myhadoop</groupId>
<artifactId>myhadoop</artifactId>
<version>1.0</version>
<properties>
<java.version>1.6</java.version>
<java.encoding>UTF-8</java.encoding>
<encoding>UTF-8</encoding>
</properties>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>2.3.2</version>
<configuration>
<source>${java.version}</source>
<target>${java.version}</target>
<encoding>${java.encoding}</encoding>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-resources-plugin</artifactId>
<version>2.6</version>
<configuration>
<encoding>${encoding}</encoding>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifactId>
<configuration>
<archive>
<manifest>
<addClasspath>true</addClasspath>
<classpathPrefix>lib/</classpathPrefix>
<mainClass>com.hdy.myhadoop.MyWordCount</mainClass> <!--入口类名 如果你有很多个main函数，那还是注释掉这个plugin,执行命令是写死main 函数类的路径吧 例如 jar *.jar com.hdy.myhadoop,MyWordCount-->
</manifest>
</archive>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-dependency-plugin</artifactId>
<executions>
<execution>
<id>copy</id>
<phase>package</phase>
<goals>
<goal>copy-dependencies</goal>
</goals>
<configuration>
<outputDirectory>$/lib</outputDirectory>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-core</artifactId>
<version>1.0.1</version>
</dependency>
<span style="white-space:pre"> </span><!-- 这个是我自己的工程，你可以改成自己的，这么配置是找不到依赖的-->
<dependency>
<groupId>com.yuzhong</groupId>
<artifactId>coder</artifactId>
<version>0.0.1-SNAPSHOT</version>
</dependency>
</dependencies>
</project>
然后 mvn clean package
ok 你就会发现你项目根目录下生成了$/lib文件夹 打开看看jar都在里面了
然后再到target目录看看myhadoop1.0.jar就出来了，然后呢看看看jar包的内容，可以解压 随便 打开可以看到
META-INF/MANIFEST.MF文件的内容
Manifest-Version: 1.0 Built-By: Administrator Build-Jdk: 1.6.0_38-ea Class-Path: lib/hadoop-core-1.0.1.jar lib/commons-cli-1.2.jar lib/xmle nc-0.52.jar lib/commons-httpclient-3.0.1.jar lib/junit-3.8.1.jar lib/ commons-logging-1.0.3.jar lib/commons-codec-1.4.jar lib/commons-math- 2.1.jar lib/commons-configuration-1.6.jar lib/commons-collections-3.2 .1.jar lib/commons-lang-2.4.jar lib/commons-digester-1.8.jar lib/comm ons-beanutils-1.7.0.jar lib/commons-beanutils-core-1.8.0.jar lib/comm ons-net-1.4.1.jar lib/jetty-6.1.26.jar lib/servlet-api-2.5-20081211.j ar lib/jetty-util-6.1.26.jar lib/jasper-runtime-5.5.12.jar lib/jasper -compiler-5.5.12.jar lib/jsp-api-2.1-6.1.14.jar lib/servlet-api-2.5-6 .1.14.jar lib/jsp-2.1-6.1.14.jar lib/ant-1.6.5.jar lib/commons-el-1.0 .jar lib/jets3t-0.7.1.jar lib/kfs-0.3.jar lib/hsqldb-1.8.0.10.jar lib /oro-2.0.8.jar lib/core-3.1.1.jar lib/jackson-mapper-asl-1.0.1.jar li b/jackson-core-asl-1.0.1.jar <span style="font-family: 微软雅黑;">lib/coder-0.0.1-SNAPSHOT.jar</span>
Created-By: Apache Maven 3.1.0 Main-Class: com.hdy.myhadoop.MyWordCount Archiver-Version: Plexus Archiver
//-------------begin- 这段不想看可略过-----------------看到class-path一项：第三方jar可都乖乖在lib下来
其实我这次用的第三方jar包coder-0.0.1-SNAPSHOT.jar是我自己安装的 你需要换成其他的pom.xml
换成你真正的第三方jar的依赖
仔细研究下上面的内容 可以看到不少东西，这也为我们下面的讲解奠定基础 就是把lib跟myhadoop1.0.jar放一个跟目录下
否则 jar 命令 还是找不到coder-0.0.1-SNAPSHOT.jar的 关于hadoop-core的依赖 倒是不必放到lib下，因为运行hadoop命令时
<span style="font-size: 14px; background-color: rgb(240, 240, 240);">已经自动加载到classpath下了</span>上面的也就是jvm的一些基础知识，如何管理class 如何管理jar的 否则我们执行命令 java jar , jvm是不知道你要执行jar文件中的那个类的
好了 多说更迷惑
//-------------------------end---------------
在/home/hadoop/hadoop-1.0.1/下建立文件夹
------------myprojects
---------------------------hadoopA
---------------------------------------myhadoopA.jar
---------------------------------------lib
--------------------------------------------------------coder-0.0.1-SNAPSHOT.jar
---------------------------hadoopB
---------------------------------------myhadoopB.jar
---------------------------------------lib
--------------------------------------------------------coder-0.0.1-SNAPSHOT.jar
建好目录后 把你的第三方jar拷贝到lib下，问webapplication项目差不多，hadoop会自动找myhadoopA.jar同目录级别下的lib文件夹(如果没加载，打开META-INF/MANIFEST.MF看看),，然后自动加载
所有的jar，网上看到很多种方式 各式各样 千奇百怪的 其实都是为了把第三方jar加载到classpath下，个人认为这种方式比较解耦，方便升级和管理
项目搞定了 来测试一下吧shell命令
hadoop jar myprojects/hadoopA/myhadoopA.jar ~/tmp/input/ ~/tmp/output
因为META-INF/MANIFEST.MF里面已经指定了main-class了所以原本
hadoop jar myprojects/hadoopA/myhadoopA.jarcom.hdy.myhadoop.MyWordCount ~/tmp/input/ ~/tmp/output
就可以省略com.hdy.myhadoop.MyWordCount 了 会自动找的
剩下的就是等待程序的输出了
hadoop是环境变量 没有配置 只能sh bin/hadoop这么执行
如果想直接使用
vi /etc/profile
输入下面内容
export PATH=$PATH:$HADOOP_INSTALL/bin
ps-
com.hdy.myhadoop.MyWordCount 这个类啥也没有，就是把官方的例子反编译拷贝了下来，重新生成一些而已