mapreduce统计日志文件中的省份分布

衡量网站流量的几个指标

(单位：每天、每周、每月、每年)

1. PV(重要)
   PV即访问量(Page View)。用户只要访问一次页面或就会被计算为一次PV，不关心客户端的IP是否相同，也不关心是不是同一个客户端。
   具体的度量方法：从客户端向web服务器发送一个request请求，web服务器接收到这个请求后，将该请求对应的网页发送给浏览器，这样就产生一个PV。
2. UV
   UV即独立访客(Unique Visitor)。同一客户端(PC或移动端)访问网站被记为一个访客。
   具体的度量方法：一般是以客户端cookie作为依据，如果cookie相同，就被认为是同一个客户端，这时候这个客户端不管访问多少次都只被记一次UV，但是一个客户端可能多个用户使用。还可以以userID作为依据。
3. VV(不重要)
   VV即访客的访问次数(Visitor View)。记录所有访客访问了多少次你的网站。当访客完成浏览并关掉网站的所有页面时便完成了一次访问，同一访客一天内可能有多次访问行为。
4. IP
   独立IP数是指不同IP地址的计算机访问网站时被计的总次数。相同IP地址的客户端访问网站只会被记为一次。这个数目会与真实用户的访问次数小很多，因为一个局域网内的私有IP虽然不同，但是在外网上，所有的IP地址相同，只会被记为一个独立IP数。

MapReduce编程模板分析PV

首先分析日志数据

1. 考虑怎么分割日志中每一条数据。
2. 可能存在不是完整的数据(脏数据)。

写MapReduce代码之前的准备

1. 是否需要自定义数据类型
2. 需要用到哪些内置的数据类型(map输出和reduce输出数据的格式)
3. 统计哪一项指标

编写代码及代码测试

1. map代码

private static class WebPvMapper extends Mapper {
        
        private final static IntWritable MapOutputValue = new IntWritable(1);
        private IntWritable mapOutputKey = new IntWritable();

        @Override 
        public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String lineValue = value.toString();
            String[] values = lineValue.split("\t");
            
            // 数据缺少太多的过滤
            if(values.length < 30) {
                return;
            }
            
            // 检验字符串
            String url = values[1];
            if(StringUtils.isBlank(url)) {
                return;
            }
            
            // 检验省份ID
            String provinceId = values[23];
            if(StringUtils.isBlank(provinceId)) {
                return;
            }
            
            // 省份字符串转换为整数
            int id = Integer.MAX_VALUE;
            try {
                id = Integer.valueOf(provinceId);
            } catch (Exception e) {
                return;
            }
            
            mapOutputKey.set(id);
            
            context.write(mapOutputKey, MapOutputValue);
        }
    }

2. reduce代码

    private static class WebPvReducer extends Reducer {
        
        private IntWritable outputValue = new IntWritable();

        @Override
        public void reduce(IntWritable key, Iterable values, Context context)
                throws IOException, InterruptedException {
            
            int sum = 0;
            
            for(IntWritable value : values) {
                sum += value.get();
            }
            
            outputValue.set(sum);
            
            context.write(key, outputValue);
        }
    }

3. 测试数据
   日志文件2015082818
   例如：
   
   

   test.png
4. 运行结果

1   3527
2   1672
3   511
4   325
5   776
6   661
7   95
8   80
9   183
10  93
11  135
12  289
13  264
14  374
15  163
16  419
17  306
18  272
19  226
20  2861
21  124
22  38
23  96
24  100
25  20
26  157
27  49
28  21
29  85
30  42
32  173

自定义计数器

• 查看分析map中input records和output records。可以发现有5万条左右的数据被过滤掉。

mapoutrecords.png

• 选择自定义计数器来记录查看每次过滤了多少条数据。计数器是封装在context对象中的.
• 加入计数器后的代码

// 数据缺少太多的过滤
           if(values.length < 30) {
               context.getCounter("WEB", "LENGTHI_LT30").increment(1);
               return;
           }
           
           // 检验字符串
           String url = values[1];
           if(StringUtils.isBlank(url)) {
               context.getCounter("WEB", "URL_ISNULL").increment(1);
               return;
           }
           
           // 检验省份ID
           String provinceId = values[23];
           if(StringUtils.isBlank(provinceId)) {
               context.getCounter("WEB", "PROVINEID_ISNULL").increment(1);
               return;
           }
           
           // 省份字符串转换为整数
           int id = Integer.MAX_VALUE;
           try {
               id = Integer.valueOf(provinceId);
           } catch (Exception e) {
               context.getCounter("WEB", "PROVINCEID_NOT_TO_INT").increment(1);
               return;
           }

• 运行结果

  
  
  

  counter.png

• 结果分析

  1. 可以发现过滤数据的地方主要在于URL为空和proviceId为空的情况，同时我们发现没有长度小于30的数据，说明可以把这个过滤放在最后，以优化程序。我们再交换过滤URL为空和过滤proviceId为空代码的先后顺序。运行结果如下：

     
     
     

     count2.png
  2. 可以得出结论：provicedId为空的数据总共有22513条；URL为空的数据总共有29092条。URL为空的数据比provicedId为空的数据多7000条，所以这时应该把过滤URL的代码放在最前面，因为URL过滤后，就不会再执行后面的过滤代码。

  3. 分析shuffle后给reduce端的数据，如下图所示：

     
     
     

     reduce.png
     
     

     可以发现总共reduce输入了14137条数据，被分成了31个分组。说明只有31种不相同的key值。此时我们可以选择在map端进行combiner合并，这样可以减少reduce端向map端获取数据需要的网络流量。

  4. 加入combiner，直接把reducer类作为combiner。

     
     
     

     setcombiner.png

  5. 查看设置combiner后的reduce输入情况，reduce input records变为了31条，若map和reduce不在同一节点，可以大大减少网络流量。

     
     
     

     combiner.png