Hadoop打Jar 及运行jar

Hadoop打Jar

首先 无论哪种方式
job.setJarByClass(WordCountDriver.class);要有。

maven 方式：
首先添加pom依赖 指定主类

<build>
    <plugins>
      
      <plugin>
        <groupId>org.apache.maven.pluginsgroupId>
        <artifactId>maven-compiler-pluginartifactId>
        <configuration>
          <source>1.8source>
          <target>1.8target>
        configuration>
      plugin>
      
      <plugin>
        <artifactId>maven-assembly-pluginartifactId>
        <version>2.4.1version>
        <configuration>
          <archive>
            <manifest>
                           <mainClass>wordcount.WordCountDrivermainClass>
            manifest>
          archive>
          <descriptorRefs>
            <descriptorRef>jar-with-dependenciesdescriptorRef>
          descriptorRefs>
        configuration>
        <executions>
          <execution>
            <id>make-assemblyid>
            <phase>packagephase>
            <goals>
              <goal>singlegoal>
            goals>
          execution>
        executions>
      plugin>
    plugins>

  build>

然后 maven install 运行容量比较大的那个jar

    //指定要处理的数据所在目录
        FileInputFormat.setInputPaths(job,new Path("hdfs://hadoop01:9000/wordcount"));
        //指定处理完的数据存放目录
        FileOutputFormat.setOutputPath(job,new Path("hdfs://hadoop01:9000/result"));

其次 如果有命名空间 这样也可以 免得运行一半主节点倒了

//指定要处理的数据所在目录
        FileInputFormat.setInputPaths(job,new Path("hdfs://命名空间名称/wordcount"));
        //指定处理完的数据存放目录
        FileOutputFormat.setOutputPath(job,new Path("hdfs://命名空间名称/result"));
//注意 没有9000端口 

运行 jar包
hadoop jar **.jar