【Hadoop】MapReduce打成jar包上传到Linux运行

之前写过MapReduce代码，但并没有真正在HDFS上运行。

今天就把之前写过的代码打成jar包，上传到HDFS上运行。

首先，翻出之前写好的mapreduce代码

修改代码：

①添加下面一行，指定具体的任务类

job.setJarByClass(ForWorldCount.class);

②修改之前指定的输入输出路径，应变为参数输入：

FileInputFormat.addInputPath(job,new Path(args[0]));
FileOutputFormat.setOutputPath(job,new Path(args[1]));

③修改pom文件，添加插件

    
        
            org.apache.maven.wagon
            wagon-ssh
            2.8
        
    
    
        
            org.codehaus.mojo
            wagon-maven-plugin
            1.0
            
                target/forMR1807-1.0-SNAPSHOT.jar
                scp://groot:[email protected]/home/groot/
            
        

        
        
            org.apache.maven.plugins
            maven-compiler-plugin
            
                1.8
                1.8
            
        
        
        
            org.apache.maven.plugins
            maven-jar-plugin
            
                
                    
                        true
                        
                        com.oracle.wordcount.ForJarWorldCount 
                    
                
            
        
    

④借助IDEA中maven的生命周期打包，Build Success后，jar包可以在左侧target目录下查看

⑤将jar包上传到HDFS

    刚才添加的插件wagon-maven-plugin可以帮助自动上传到HDFS指定位置

⑥执行