Hadoop实践（三）---MapReduce中的Counter

在Hadoop的MapReduce框架中包括6种Counters，每一种包含若干个Counter，分别对Map和Reduce任务进行统计
Tips：图片中是Hadoop2.7.3 Counters 略有更新 注意区分 其实根据字面意思大概就知道这个Counter是干啥的

1、File System Counters

表示job与文件系统交互的读写统计

• FILE_BYTES_READ： job读取本地文件系统的文件字节数

• FILE_BYTES_WRITTEN ： job向本地文件系统写入的文件字节数

• HDFS_BYTES_READ ： job读取HDFS的文件字节数（包括元数据，所以比FileInputFormatCounters中的BYTES_READ略大）

• HDFS_BYTES_WRITTEN： job向HDFS写入的文件字节数

2、Job Counters

描述与job调度相关的统计

• Data-local map tasks ： Job被调度时，启动了一个data-local(在源文件的副本上执行map task的taskTracker（在hadoop 2.0中应该是NodeManager）) 【可以理解为数据本地化】

• FALLOW_SLOTS_MILLIS_MAPS ：当前job为某些map task的执行保留了slot，总共保留的时间是多少 ，此Counter就是多少（毫秒）

• FALLOW_SLOTS_MILLIS_REDUCES ：当前job为某些reduce task的执行保留了slot，总共保留的时间是多少 ，此Counter就是多少（毫秒）

• SLOTS_MILLIS_MAPS ： 所有map task占用slot的总时间，包含执行时间和创建/销毁子JVM的时间 （毫秒）

• SLOTS_MILLIS_REDUCES： 所有reduce task占用slot的总时间，包含执行时间和创建/销毁子JVM的时间 （毫秒）

• Launched map tasks ： 此job启动了多少个map task

• Launched reduce tasks ： 此job启动了多少个reduce task

3、Map-Reduce Framework

这个类型包含了相当多job执行的细节

一般情况下：

1. record就表示一行数据
2. byte表示这行数据的大小是多少

---

• Combine input records： Combiner是为了减少尽量减少需要拉取和移动的数据，所以combine输入条数与map的输出条数是一致的。

• Combine output records：经过Combiner后，相同key的数据经过压缩，在map端自己解决了很多重复数据，表示最终在map端中间文件中的所有条目数

• Failed Shuffles： copy线程在抓取map端中间数据时，如果因为网络连接异常或是IO异常，所引起的shuffle错误次数

• GC time elapsed (ms)：通过JMX获取到执行map与reduce的子JVM总共的GC时间消耗

• Map input records：所有map task从HDFS读取的文件总行数

• Map output bytes：Map的输出结果key/value都会被序列化到内存缓冲区中，所以这里的bytes指序列化后的最终字节之和

• Map output records： map task的直接输出record是多少，就是在map方法中调用context.write的次数，也就是未经过Combine时的原生输出条数

• Merged Map outputs： 记录着shuffle过程中总共经历了多少次merge动作

• Reduce input groups： Reduce总共读取了多少个这样的groups

• Reduce input records： 如果有Combiner的话，那么这里的数值就等于map端Combiner运算后的最后条数，如果没有，那么就应该等于map的输出条数

• Reduce output records： 所有reduce执行后输出的总条目数

• Reduce shuffle bytes：Reduce端的copy线程总共从map端抓取了多少的中间数据，表示各个map task最终的中间文件总和

• Shuffled Maps： 每个reduce几乎都得从所有map端拉取数据，每个copy线程拉取成功一个map的数据，那么增1，所以它的总数基本等于 reduce number * map number

• Spilled Records： spill过程在map和reduce端都会发生，这里统计在总共从内存往磁盘中spill了多少条数据

• SPLIT_RAW_BYTES： 与map task 的split相关的数据都会保存于HDFS中，而在保存时元数据也相应地存储着数据是以怎样的压缩方式放入的，它的具体类型是什么，这些额外的数据是MapReduce框架加入的，与job无关，这里记录的大小就是表示额外信息的字节大小

4、Shuffle Errors

描述Shuffle过程中的各种错误情况发生次数，基本定位于Shuffle阶段copy线程抓取map端中间数据时的各种错误

• BAD_ID： 每个map都有一个ID，如果reduce的copy线程抓取过来的元数据中这个ID不是标准格式，那么此Counter增加

• CONNECTION ： 表示copy线程建立到map端的连接有误 ，那么此Counter增加

• IO_ERROR： copy线程如果在抓取map端数据时出现IOException，那么此Counter增加

• WRONG_LENGTH：map端的中间结果是压缩数据，所以有两个length信息：源数据大小与压缩后数据大小。如果这两个length信息传输的有误(负值)，那么此Counter增加

• WRONG_MAP： 每个copy线程抓取的map数据不是copy线程之前定义好的map，那么就表示把数据拉错了 ，那么此Counter增加

• WRONG_REDUCE：如果copy线程抓取的数据不是为此reduce而准备的，那还是拉错数据了，那么此Counter增加

5、File Input Format Counters

表示map task读取文件内容(总输入数据)的统计

• BYTES_READ：map task的所有输入数据(字节)，等于各个map task的map方法传入的所有value值字节之和

6、File Output Format Counters

表示reduce task写出文件内容(总输入数据)的统计

• BYTES_Written：reduce task的所有输出数据(字节)，等于各个reduce task的reduce方法写出的所有value值字节之和