hadoop计数器

hadoop计数器

计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。

自定义Java计数器
1）MapReduce框架允许用户自定义计数器
2）计数器是一个全局变量
3）计数器有组的概念，可以用Java的枚举类型或者用字符串来定义

#java完整代码

package mr;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Counter;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

class Counters {
    public static class MyCounterMap extends Mapper {
        public static Counter ct = null;

        protected void map(LongWritable key, Text value, org.apache.hadoop.mapreduce.Mapper.Context context) throws java.io.IOException, InterruptedException {
            String arr_value[] = value.toString().split("\t");
            if (arr_value.length > 3) {
                ct = context.getCounter("ErrorCounter", "toolong");
            } else if (arr_value.length < 3) {
                ct = context.getCounter("ErrorCounter", "tooshort");
                ct.increment(1);
            }
        }
    }

    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        Configuration conf = new Configuration();
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        if (otherArgs.length != 2) {
            System.err.println("Usage: Counters  ");
            System.exit(2);
        }
        Job job = Job.getInstance(conf, "Counter");
        job.setJarByClass(Counters.class);
        job.setMapperClass(MyCounterMap.class);
        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

#导入hadoop文件夹路径下的lib包。
1.点击file>Project Structure>Modules>+号>Library下的java找到你自己的lib文件然后ok。

2.打jar包
点击file>Project Structure>Artifacts>+号>jar找到rm的主类文件。

勾选Include project build然后ok

然后执行Build下的Build Project。

然后copy这个jar包

改名为wordcount.jar
用ftp上传到hadoop中。

1.启动hadoop
#start-all.sh

2.创建hadoop fs -mkdir -p /datas/in ， hadoop fs -mkdir -p /datas/out

3.用hadoop fs -ls /datas查看你传的虚拟文件。
4.编写wordcount.txt文档

用ftp传到hadoop中。
5把上传到hadoop中的txt文档用hadoop fs -put wordcount.txt /datas/in上传到hdfs中
6.在你java的jar包路径下执行
hadoop jar wordcount.jar /datas/in/wordcount.txt /datas/out
这样就成功了。