参考1：http://www.cnblogs.com/flying5/archive/2011/05/04/2078408.html

需要说明的有以下几点。

1.如果wordcount程序不含层次，即没有package

那么使用如下命令：


[cpp] view plaincopy

  1. hadoop jar wordcount.jar WordCount2 /home/hadoop/input/20418.txt /home/hadoop/output/wordcount2-6  

该命令行的意思大致是：执行hadoop 程序，该程序在wordcount.jar中。该wordcount.jar包含以下几个class文件，分别是WordCount.java编译产生的3个class文件：


  • WordCount.class

  • WordCount$Map.class

  • WordCount$Reduce.class


和WordCount2.java编译产生的四个claas文件：


  •  classWordCount2.class

  • WordCount2$IntSumReducer.class

  • WordCount2$IntWritableDecreasingComparator.class 

  • WordCount2$TokenizerMapper.class


并且这几个.class文件是在jar包的根目录下。将上述七个class文件打包成jar文件的方法如下：假设上述七个class文件在同一个目录WordCount文件夹下，使用命令行进入到该级目录，然后通过如下命令打包：


[java] view plaincopy

  1. jar cvf WordCount.jar *.class  


2.如果wordcount程序含有层次

那么使用如下命令（错误）：


[cpp] view plaincopy

  1. $ hadoop jar wordcount.jar WordCount2 /home/hadoop/input/20418.txt /home/hadoop/output/wordcount2-7  

会报错，错误如下：（具体原因可以参考博客：http://blog.csdn.net/xw13106209/article/details/6861855）


[cpp] view plaincopy

  1. Exception in thread "main" java.lang.ClassNotFoundException: WordCount2  

  2.     at java.net.URLClassLoader$1.run(URLClassLoader.java:202)  

  3.     at java.security.AccessController.doPrivileged(Native Method)  

  4.     at java.net.URLClassLoader.findClass(URLClassLoader.java:190)  

  5.     at java.lang.ClassLoader.loadClass(ClassLoader.java:306)  

  6.     at java.lang.ClassLoader.loadClass(ClassLoader.java:247)  

  7.     at java.lang.Class.forName0(Native Method)  

  8.     at java.lang.Class.forName(Class.java:247)  

  9.     at org.apache.hadoop.util.RunJar.main(RunJar.java:149)  

正确命令如下：


[cpp] view plaincopy

  1. $ hadoop jar WordCount.jar org.apache.hadoop.examples.WordCount2 /home/hadoop/input/20418.txt /home/hadoop/output/wordcount2-7  

这里唯一的不同色jar包的不同，上一条命令的jar包是wordcount.jar，而这里的java包是WordCount.jar。WordCount.jar把是对org/apache/hadoop/examples整个目录打包得到的。

3.编译WordCount.java程序

在参考1中使用了类似以下的命令来编译WordCount.java

[cpp] view plaincopy

  1. javac -classpath /home/hadoop/program/hadoop-0.20.1/hadoop-0.20.1-core.jar WordCount.java -d /home/hadoop/WordCount/  

这条命令的指定了classspath为 /home/hadoop/program/hadoop-0.20.1/hadoop-0.20.1-core.jar 。其实我们可以修改环境变量来省去这些内容。

具体方法为：


[cpp] view plaincopy

  1. sudo gedit /etc/profile  

修改



[cpp] view plaincopy

  1. export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH  

为



[cpp] view plaincopy

  1. export HADOOP_HOME=/home/hadoop/program/hadoop-0.20.1  

  2. export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH:$HADOOP_HOME/hadoop-0.20.1-core.jar  

这样的话，就可以直接使用如下命令来编译WordCount.java程序了


[cpp] view plaincopy

  1. javac  WordCount.java -d /home/hadoop/WordCount/  

注意：这里的WordCount.java可以有包名，也可以没有包名。如果没有包名的话，在/home/hadoop/WordCount/目录下就有几个编译完成的.class文件。如果有包名的话，那么在/home/hadoop/WordCount/目录下还会生成包的结构目录。

4.出现无法编译WordCount.java程序的情况

在使用同样的编译命令的时候


[cpp] view plaincopy

  1. javac WordCount2.java -d /home/hadoop/WordCount/  

会提示如下错误：

[cpp] view plaincopy

  1. WordCount2.java:93: 无法访问 org.apache.commons.cli.Options  

  2. 未找到 org.apache.commons.cli.Options 的类文件  

  3. String[] otherArgs = new GenericOptionsParser(conf, args)  

  4. ^  

  5. 1 错误  

查了一些资料，这个错误主要是因为WordCount2.java里面用到了一些类，而这些类没有在classpath路径下注册。所以会产生这样的错误。因为在eclipse中，我们的bulid path中的library中添加的jar包不单单只有hadoop-0.20.1-core.jar一个jar，还有其他许多的jar，如果要通过命令行将这些jar包全部打出来，非常麻烦。这里推荐使用ant来进行编译。具体如何使用ant，可能会在后面的博客中提及。我们可以使用eclipse来帮我们编译。参考博客：eclipse编译java文件。




原文地址：http://blog.csdn.net/xw13106209/article/details/6862480