moxuqiang_dm
moxuqiang_dm

hive udaf详解

原理

UDAF函数，简单地理解就是多行输入一行输出，其实就是一个聚合的过程，但聚合的过程可以在mapreduce任务中的多个地方可以实现，要了解UDAF的过程还需要清楚mapreduce的模型，请看下图hive udaf详解_第1张图片

详解

聚合的过程在上述的图中，可以发生在map阶段，可以发生在local combie阶段，也可以发生在reduce阶段，不同阶段的聚合需要不同的实现函数，在源码里也表现定义抽象类：GenericUDAFEvaluator


public abstract class GenericUDAFEvaluator implements Closeable {

    ......

    //用于初始化类；
    public ObjectInspector init(Mode m, ObjectInspector[] parameters) throws HiveException {
        // This function should be overriden in every sub class
        // And the sub class should call super.init(m, parameters) to get mode set.
        mode = m;
        return null;
    }

    //开辟新空间存储计算结果
    public abstract AggregationBuffer getNewAggregationBuffer() throws HiveException;

    //重置计算状态
    public abstract void reset(AggregationBuffer agg) throws HiveException;

    //map阶段调用，只要把保存当前和的对象agg，再加上输入的参数，就可以了。
    public abstract void iterate(AggregationBuffer agg, Object[] parameters) throws HiveException;

    //mapper结束要返回的结果，还有combine结束返回的结果
    public abstract Object terminatePartial(AggregationBuffer agg) throws HiveException;

    //combiner合并map返回的结果，还有reducer合并mapper或combine返回的结果。
    public abstract void merge(AggregationBuffer agg, Object partial) throws HiveException;

    //reducer返回结果，或者是只有mapper，没有reducer时，在mapper端返回结果。
    public abstract Object terminate(AggregationBuffer agg) throws HiveException;
    ......

    //此函数是主要是对某条件范围内进行聚合时调用的（只是猜测，还没测试出来）
    public GenericUDAFEvaluator getWindowingEvaluator(WindowFrameDef wFrmDef)

}

当然可以从GenericUDAFEvaluator的内部枚举当中获取当前阶段的状态；

public static enum Mode {
    /**
     * PARTIAL1: 这个是mapreduce的map阶段:从原始数据到部分数据聚合
     * 将会调用iterate()和terminatePartial()
     */
    PARTIAL1,
        /**
     * PARTIAL2: 这个是mapreduce的map端的Combiner阶段，负责在map端合并map的数据::从部分数据聚合到部分数据聚合:
     * 将会调用merge() 和 terminatePartial() 
     */
    PARTIAL2,
        /**
     * FINAL: mapreduce的reduce阶段:从部分数据的聚合到完全聚合 
     * 将会调用merge()和terminate()
     */
    FINAL,
        /**
     * COMPLETE: 如果出现了这个阶段，表示mapreduce只有map，没有reduce，所以map端就直接出结果了:从原始数据直接到完全聚合
      * 将会调用 iterate()和terminate()
     */
    COMPLETE
  };

一般情况下，完整的UDAF逻辑是一个mapreduce过程，如果有mapper和reducer，就会经历PARTIAL1(mapper)，FINAL(reducer)，如果还有combiner，那就会经历PARTIAL1(mapper)，PARTIAL2(combiner)，FINAL(reducer)。而有一些情况下的mapreduce，只有mapper，而没有reducer，所以就会只有COMPLETE阶段，这个阶段直接输入原始数据，出结果。

下面以count的功能的UDAF函数进行详解；
hive sql任务：select chepai.oil_type,mcount(chepai.oil_type) from chepai group by chepai.oil_type;
sql任务由一个map，三个reduce任务组成；

//调试源码
package org.hive.segment;



import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.parse.SemanticException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDAFEvaluator;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDAFParameterInfo;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDAFResolver2;
import org.apache.hadoop.hive.ql.util.JavaDataModel;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.LongObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.typeinfo.TypeInfo;
import org.apache.hadoop.io.LongWritable;;

/**
 * This class implements the COUNT aggregation function as in SQL.
 */
@Description(name = "count",
    value = "_FUNC_(*) - Returns the total number of retrieved rows, including "
          +        "rows containing NULL values.\n"

          + "_FUNC_(expr) - Returns the number of rows for which the supplied "
          +        "expression is non-NULL.\n"

          + "_FUNC_(DISTINCT expr[, expr...]) - Returns the number of rows for "
          +        "which the supplied expression(s) are unique and non-NULL.")
public class udafCount implements GenericUDAFResolver2 {

  private static final Log LOG = LogFactory.getLog(udafCount.class.getName());

  @Override
  public GenericUDAFEvaluator getEvaluator(TypeInfo[] parameters)
      throws SemanticException {
    // This method implementation is preserved for backward compatibility.
    return new udafCountEvaluators();
  }

  @Override
  public GenericUDAFEvaluator getEvaluator(GenericUDAFParameterInfo paramInfo)
  throws SemanticException {

    TypeInfo[] parameters = paramInfo.getParameters();

    if (parameters.length == 0) {
      if (!paramInfo.isAllColumns()) {
        throw new UDFArgumentException("Argument expected");
      }
      assert !paramInfo.isDistinct() : "DISTINCT not supported with *";
    } else {
      if (parameters.length > 1 && !paramInfo.isDistinct()) {
        throw new UDFArgumentException("DISTINCT keyword must be specified");
      }
      assert !paramInfo.isAllColumns() : "* not supported in expression list";
    }

    return new udafCountEvaluators().setCountAllColumns(
        paramInfo.isAllColumns());
  }

  /**
   * GenericUDAFCountEvaluator.
   *
   */
  public static class udafCountEvaluators extends GenericUDAFEvaluator {
    private boolean countAllColumns = false;
    //用于反序列化数据对象
    private LongObjectInspector partialCountAggOI;
    private LongWritable result;
    //Mode mode;

    @Override
    public ObjectInspector init(Mode m, ObjectInspector[] parameters)
    throws HiveException {

      super.init(m, parameters);
      LOG.info("..............job at part:"+m.name()+"..........");
      if (m == Mode.PARTIAL2 || m == Mode.FINAL) {
        partialCountAggOI = (LongObjectInspector)parameters[0];
      }
      result = new LongWritable(0);
      return PrimitiveObjectInspectorFactory.writableLongObjectInspector;
    }

    private udafCountEvaluators setCountAllColumns(boolean countAllCols) {
      countAllColumns = countAllCols;
      return this;
    }

    /** class for storing count value，即是缓存数据 */    
    @AggregationType(estimable = true)
    static class CountAgg extends AbstractAggregationBuffer {
      long value;
      @Override
      public int estimate() { return JavaDataModel.PRIMITIVES2; }
    }

    @Override
    public AggregationBuffer getNewAggregationBuffer() throws HiveException {
      CountAgg buffer = new CountAgg();
      reset(buffer);
      LOG.info("setion_1: getNewAggregationBuffer .......");
      return buffer;
    }

    @Override
    public void reset(AggregationBuffer agg) throws HiveException {
      ((CountAgg) agg).value = 0;
      LOG.info("setion_2: reset .......");
    }

    @Override
    public void iterate(AggregationBuffer agg, Object[] parameters)
      throws HiveException {
      // parameters == null means the input table/split is empty
     //后面添加的测试，日志就不放上来了，判断value值只是为了减少日志量；
        if(((CountAgg) agg).value>100){     
            if(strObject!=null){
                LOG.info("setion_3: iterate .......");
                for(int i=0;i//parameters的类型是LazyString,不能强制转换数据为String;
                    LOG.info("Parameters:"+((StringObjectInspector)(strObject)).getPrimitiveJavaObject(parameters[i]));
                }
            }


        }
        LOG.info("setion_3: iterate .......");
      if (parameters == null) {
        return;
      }
      if (countAllColumns) {
        assert parameters.length == 0;
        ((CountAgg) agg).value++;
      } else {
        boolean countThisRow = true;
        for (Object nextParam : parameters) {
          if (nextParam == null) {
            countThisRow = false;
            break;
          }
        }
        if (countThisRow) {
          ((CountAgg) agg).value++;
        }
      }
    }

    @Override
    public void merge(AggregationBuffer agg, Object partial)
      throws HiveException {
        LOG.info("setion_4: merge .......");
      if (partial != null) {
        long p = partialCountAggOI.get(partial);
        ((CountAgg) agg).value += p;
      }
    }

    //最终被调用返回结果；
    @Override
    public Object terminate(AggregationBuffer agg) throws HiveException {
      result.set(((CountAgg) agg).value);
      LOG.info("setion_5: terminate .......");
      return result;
    }

    @Override
    public Object terminatePartial(AggregationBuffer agg) throws HiveException {
        LOG.info("setion_6: terminatePartial .......");
      return terminate(agg);
    }
  }


}



//map runlong

2015-08-11 10:51:51,699 INFO [main] org.apache.hadoop.hive.ql.exec.SelectOperator: Operator 1 SEL initialized
2015-08-11 10:51:51,699 INFO [main] org.apache.hadoop.hive.ql.exec.SelectOperator: Initializing children of 1 SEL
2015-08-11 10:51:51,699 INFO [main] org.apache.hadoop.hive.ql.exec.GroupByOperator: Initializing child 2 GBY
2015-08-11 10:51:51,699 INFO [main] org.apache.hadoop.hive.ql.exec.GroupByOperator: Initializing Self GBY[2]
2015-08-11 10:51:51,751 INFO [main] org.hive.segment.udafCount: ..............job at part:PARTIAL1..........
2015-08-11 10:51:51,752 INFO [main] org.hive.segment.udafCount: setion_2: reset .......
2015-08-11 10:51:51,752 INFO [main] org.hive.segment.udafCount: setion_1: getNewAggregationBuffer .......
2015-08-11 10:51:51,753 INFO [main] org.hive.segment.udafCount: setion_2: reset .......
2015-08-11 10:51:51,753 INFO [main] org.hive.segment.udafCount: setion_1: getNewAggregationBuffer .......
2015-08-11 10:51:51,778 INFO [main] org.apache.hadoop.hive.ql.exec.GroupByOperator: Operator 2 GBY initialized
2015-08-11 10:51:51,778 INFO [main] org.apache.hadoop.hive.ql.exec.GroupByOperator: Initializing children of 2 GBY
2015-08-11 10:51:51,778 INFO [main] org.apache.hadoop.hive.ql.exec.ReduceSinkOperator: Initializing child 3 RS
2015-08-11 10:51:51,778 INFO [main] org.apache.hadoop.hive.ql.exec.ReduceSinkOperator: Initializing Self RS[3]
2015-08-11 10:51:51,780 INFO [main] org.apache.hadoop.hive.ql.exec.ReduceSinkOperator: Using tag = -1
2015-08-11 10:51:52,005 INFO [main] org.apache.hadoop.hive.ql.exec.ReduceSinkOperator: Operator 3 RS initialized
2015-08-11 10:51:52,005 INFO [main] org.apache.hadoop.hive.ql.exec.ReduceSinkOperator: Initialization Done 3 RS
2015-08-11 10:51:52,005 INFO [main] org.apache.hadoop.hive.ql.exec.GroupByOperator: Initialization Done 2 GBY
2015-08-11 10:51:52,005 INFO [main] org.apache.hadoop.hive.ql.exec.SelectOperator: Initialization Done 1 SEL
2015-08-11 10:51:52,005 INFO [main] org.apache.hadoop.hive.ql.exec.TableScanOperator: Initialization Done 0 TS
2015-08-11 10:51:52,005 INFO [main] org.apache.hadoop.hive.ql.exec.MapOperator: Initialization Done 4 MAP
2015-08-11 10:51:52,048 INFO [main] org.hive.segment.udafCount: setion_2: reset .......
2015-08-11 10:51:52,048 INFO [main] org.hive.segment.udafCount: setion_1: getNewAggregationBuffer .......
2015-08-11 10:51:52,048 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,049 INFO [main] org.apache.hadoop.hive.ql.exec.MapOperator: MAP[4]: records read - 1
2015-08-11 10:51:52,049 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,049 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,049 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,049 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,049 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,049 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,049 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,049 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,049 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,049 INFO [main] org.apache.hadoop.hive.ql.exec.MapOperator: MAP[4]: records read - 10
2015-08-11 10:51:52,049 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,049 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,049 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,049 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,050 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,050 INFO [main] org.hive.segment.udafCount: setion_2: reset .......
2015-08-11 10:51:52,050 INFO [main] org.hive.segment.udafCount: setion_1: getNewAggregationBuffer .......
2015-08-11 10:51:52,050 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......
2015-08-11 10:51:52,050 INFO [main] org.hive.segment.udafCount: setion_3: iterate .......

//reduce runlog

2015-08-11 10:52:43,731 INFO [main] org.apache.hadoop.hive.ql.exec.GroupByOperator: Initializing Self GBY[0]
2015-08-11 10:52:43,743 INFO [main] org.hive.segment.udafCount: ..............job at part:FINAL..........
2015-08-11 10:52:43,744 INFO [main] org.hive.segment.udafCount: setion_2: reset .......
2015-08-11 10:52:43,744 INFO [main] org.hive.segment.udafCount: setion_1: getNewAggregationBuffer .......
2015-08-11 10:52:43,747 INFO [main] org.apache.hadoop.hive.ql.exec.GroupByOperator: Operator 0 GBY initialized
2015-08-11 10:52:43,747 INFO [main] org.apache.hadoop.hive.ql.exec.GroupByOperator: Initializing children of 0 GBY
2015-08-11 10:52:43,747 INFO [main] org.apache.hadoop.hive.ql.exec.SelectOperator: Initializing child 1 SEL
2015-08-11 10:52:43,747 INFO [main] org.apache.hadoop.hive.ql.exec.SelectOperator: Initializing Self SEL[1]
2015-08-11 10:52:43,747 INFO [main] org.apache.hadoop.hive.ql.exec.SelectOperator: SELECT struct<_col0:string,_col1:bigint>
2015-08-11 10:52:43,747 INFO [main] org.apache.hadoop.hive.ql.exec.SelectOperator: Operator 1 SEL initialized
2015-08-11 10:52:43,747 INFO [main] org.apache.hadoop.hive.ql.exec.SelectOperator: Initializing children of 1 SEL
2015-08-11 10:52:43,747 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Initializing child 2 FS
2015-08-11 10:52:43,747 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Initializing Self FS[2]
2015-08-11 10:52:43,747 INFO [main] org.apache.hadoop.conf.Configuration.deprecation: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
2015-08-11 10:52:43,777 INFO [main] org.apache.hadoop.conf.Configuration.deprecation: mapred.healthChecker.script.timeout is deprecated. Instead, use mapreduce.tasktracker.healthchecker.script.timeout
2015-08-11 10:52:43,779 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Operator 2 FS initialized
2015-08-11 10:52:43,779 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Initialization Done 2 FS
2015-08-11 10:52:43,779 INFO [main] org.apache.hadoop.hive.ql.exec.SelectOperator: Initialization Done 1 SEL
2015-08-11 10:52:43,779 INFO [main] org.apache.hadoop.hive.ql.exec.GroupByOperator: Initialization Done 0 GBY
2015-08-11 10:52:43,782 INFO [main] org.hive.segment.udafCount: setion_2: reset .......
2015-08-11 10:52:43,782 INFO [main] org.hive.segment.udafCount: setion_4: merge .......
2015-08-11 10:52:43,782 INFO [main] org.hive.segment.udafCount: setion_5: terminate .......
2015-08-11 10:52:43,782 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Final Path: FS hdfs://uruncluster/datas/hadoop/hdp/tmp/hive/hdfs/544ba723-d852-4bdc-844f-8b9ab62e6619/hive_2015-08-11_10-51-34_252_8711439857738442726-1/_tmp.-ext-10001/000000_0
2015-08-11 10:52:43,783 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: Writing to temp file: FS hdfs://uruncluster/datas/hadoop/hdp/tmp/hive/hdfs/544ba723-d852-4bdc-844f-8b9ab62e6619/hive_2015-08-11_10-51-34_252_8711439857738442726-1/_task_tmp.-ext-10001/_tmp.000000_0
2015-08-11 10:52:43,783 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: New Final Path: FS hdfs://uruncluster/datas/hadoop/hdp/tmp/hive/hdfs/544ba723-d852-4bdc-844f-8b9ab62e6619/hive_2015-08-11_10-51-34_252_8711439857738442726-1/_tmp.-ext-10001/000000_0
2015-08-11 10:52:43,883 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: FS[2]: records written - 1
2015-08-11 10:52:43,883 INFO [main] org.hive.segment.udafCount: setion_2: reset .......
2015-08-11 10:52:43,883 INFO [main] org.hive.segment.udafCount: setion_4: merge .......
2015-08-11 10:52:43,883 INFO [main] org.hive.segment.udafCount: setion_5: terminate .......
2015-08-11 10:52:43,883 INFO [main] org.hive.segment.udafCount: setion_2: reset .......
2015-08-11 10:52:43,883 INFO [main] org.hive.segment.udafCount: setion_4: merge .......
2015-08-11 10:52:43,883 INFO [main] org.apache.hadoop.hive.ql.exec.GroupByOperator: 0 finished. closing... 
2015-08-11 10:52:43,883 INFO [main] org.hive.segment.udafCount: setion_5: terminate .......
2015-08-11 10:52:43,883 INFO [main] org.apache.hadoop.hive.ql.exec.SelectOperator: 1 finished. closing... 
2015-08-11 10:52:43,884 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: 2 finished. closing... 
2015-08-11 10:52:43,884 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: FS[2]: records written - 3
2015-08-11 10:52:44,127 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: RECORDS_OUT:3
2015-08-11 10:52:44,127 INFO [main] org.apache.hadoop.hive.ql.exec.FileSinkOperator: 2 Close done
2015-08-11 10:52:44,127 INFO [main] org.apache.hadoop.hive.ql.exec.SelectOperator: 1 Close done
2015-08-11 10:52:44,127 INFO [main] org.apache.hadoop.hive.ql.exec.GroupByOperator: 0 Close done
2015-08-11 10:52:44,127 INFO [main] org.apache.hadoop.mapred.Task: Task:attempt_1437935091736_30472_r_000000_0 is done. And is in the process of committing
2015-08-11 10:52:44,165 INFO [main] org.apache.hadoop.mapred.Task: Task 'attempt_1437935091736_30472_r_000000_0' done.
2015-08-11 10:52:44,166 INFO [main] org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping ReduceTask metrics system...
2015-08-11 10:52:44,167 INFO [main] org.apache.hadoop.metrics2.impl.MetricsSystemImpl: ReduceTask metrics system stopped.
2015-08-11 10:52:44,167 INFO [main] org.apache.hadoop.metrics2.impl.MetricsSystemImpl: ReduceTask metrics system shutdown complete.

可以看到接口方法的调用过程是符合我们的之前的分析的，但仅能了解这些对于写UDAF函数仍然有困难的，需要了解其大概的过程以及主要的类；
我们知道，Hive最终生成的MapReduce任务，Map阶段和Reduce阶段均由OperatorTree组成。逻辑操作符，就是在Map阶段或者Reduce阶段完成单一特定的操作。详细请看http://www.open-open.com/lib/view/open1400644430159.html

基本的操作符包括TableScanOperator，SelectOperator，FilterOperator，JoinOperator，GroupByOperator，ReduceSinkOperator

从名字就能猜出各个操作符完成的功能，TableScanOperator从MapReduce框架的Map接口原始输入表的数据，控制扫描表的数据行数，标记是从原表中取数据。JoinOperator完成Join操作。FilterOperator完成过滤操作

ReduceSinkOperator将Map端的字段组合序列化为Reduce Key/value, Partition Key，只可能出现在Map阶段，同时也标志着Hive生成的MapReduce程序中Map阶段的结束。

Operator在Map Reduce阶段之间的数据传递都是一个流式的过程。每一个Operator对一行数据完成操作后之后将数据传递给childOperator计算。

Operator类的主要属性和方法如下
•RowSchema表示Operator的输出字段
•InputObjInspector outputObjInspector解析输入和输出字段
•processOp接收父Operator传递的数据，forward将处理好的数据传递给子Operator处理
•Hive每一行数据经过一个Operator处理之后，会对字段重新编号，colExprMap记录每个表达式经过当前Operator处理前后的名称对应关系，在下一个阶段逻辑优化阶段用来回溯字段名
•由于Hive 的MapReduce程序是一个动态的程序，即不确定一个MapReduce Job会进行什么运算，可能是Join，也可能是GroupBy，所以Operator将所有运行时需要的参数保存在OperatorDesc 中，OperatorDesc在提交任务前序列化到HDFS上，在MapReduce任务执行前从HDFS读取并反序列化。Map阶段 OperatorTree在HDFS上的位置在Job.getConf(“hive.exec.plan”) + “/map.xml”

从map任务可以看到任务是从MapOperator开始的，简单地描述为下述过程

public abstract class GenericUDAFEvaluator implements Closeable {

......

public void aggregate(AggregationBuffer agg, Object[] parameters) throws HiveException {
    if (mode == Mode.PARTIAL1 || mode == Mode.COMPLETE) {
      iterate(agg, parameters);
    } else {
      assert (parameters.length == 1);
      merge(agg, parameters[0]);
    }
  }

}
//WindowingTableFunction 类继承自TableFunctionEvaluator 
public class WindowingTableFunction extends TableFunctionEvaluator {

.......

 @Override
  public List processRow(Object row) throws HiveException {

    /*
     * Once enough rows have been output, there is no need to process input rows.
     */
    if ( streamingState.rankLimitReached() ) {
      return null;
    }

    streamingState.rollingPart.append(row);
    row = streamingState.rollingPart
        .getAt(streamingState.rollingPart.size() - 1);

    WindowTableFunctionDef tabDef = (WindowTableFunctionDef) getTableDef();

    for (int i = 0; i < tabDef.getWindowFunctions().size(); i++) {
      WindowFunctionDef wFn = tabDef.getWindowFunctions().get(i);
      GenericUDAFEvaluator fnEval = wFn.getWFnEval();

      int a = 0;
      if (wFn.getArgs() != null) {
        for (PTFExpressionDef arg : wFn.getArgs()) {
          streamingState.funcArgs[i][a++] = arg.getExprEvaluator().evaluate(row);
        }
      }

      if (fnEval instanceof ISupportStreamingModeForWindowing) {

        //调用aggregate方法
        fnEval.aggregate(streamingState.aggBuffers[i], streamingState.funcArgs[i]);
        Object out = ((ISupportStreamingModeForWindowing) fnEval)
            .getNextResult(streamingState.aggBuffers[i]);
        if (out != null) {
          streamingState.fnOutputs[i]
              .add(out == ISupportStreamingModeForWindowing.NULL_RESULT ? null
                  : out);
        }
      } else {
        int rowToProcess = streamingState.rollingPart.rowToProcess(wFn);
        if (rowToProcess >= 0) {
          Range rng = getRange(wFn, rowToProcess, streamingState.rollingPart,
              streamingState.order);
          PTFPartitionIterator rItr = rng.iterator();
          PTFOperator.connectLeadLagFunctionsToPartition(ptfDesc, rItr);

          //在evaluateWindowFunction也调用了aggregate方法
          Object out = evaluateWindowFunction(wFn, rItr);
          streamingState.fnOutputs[i].add(out);
        }
      }
    }

    List oRows = new ArrayList();
    while (true) {
      boolean hasRow = streamingState.hasOutputRow();

      if (!hasRow) {
        break;
      }

      oRows.add(streamingState.nextOutputRow());
    }

    return oRows.size() == 0 ? null : oRows;
  }

} 
  
public class PTFOperator extends Operator<PTFDesc> implements Serializable {
//持有PTFInvocation 对象；
transient PTFInvocation ptfInvocation;

 @Override
  public void process(Object row, int tag) throws HiveException {
    if (!isMapOperator ) {
      /*
       * checkif current row belongs to the current accumulated Partition:
       * - If not:
       *  - process the current Partition
       *  - reset input Partition
       * - set currentKey to the newKey if it is null or has changed.
       */
      newKeys.getNewKey(row, inputObjInspectors[0]);
      boolean keysAreEqual = (currentKeys != null && newKeys != null)?
              newKeys.equals(currentKeys) : false;

      if (currentKeys != null && !keysAreEqual) {
        ptfInvocation.finishPartition();
      }

      if (currentKeys == null || !keysAreEqual) {
        ptfInvocation.startPartition();
        if (currentKeys == null) {
          currentKeys = newKeys.copyKey();
        } else {
          currentKeys.copyKey(newKeys);
        }
      }
    } else if ( firstMapRow ) {
      ptfInvocation.startPartition();
      firstMapRow = false;
    }

    ptfInvocation.processRow(row);
  }


}

class PTFInvocation {
//持有TableFunctionEvaluator对象
TableFunctionEvaluator tabFn;
//调用TableFunctionEvaluator 的processRow方法；WindowingTableFunction 实现了TableFunctionEvaluator
void processRow(Object row) throws HiveException {
      if ( isStreaming() ) {
        handleOutputRows(tabFn.processRow(row));
      } else {
        inputPart.append(row);
      }
    }
}

 
  
至此再去看看MapOperator是何被调用的就可以大概了解其过程了，现在只需要了解其输入是什么类封装的就可以了，后面再详解。
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(hive)

        

            

                
    
                    
  • linux grep命令
                        蓝菱
linuxlinuxgrep正则表达式
                        
    转自http://www.cnblogs.com/end/archive/2012/02/21/2360965.htm1.作用Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。grep全称是GlobalRegularExpressionPrint，表示全局正则表达式版本，它的使用权限是所有用户。2.格式grep[options]3.主要参数[o
    
                    
    • 
                    
  • 【已解决】将CentOS7系统安装至U盘（四）：安装Qt5.14.2（解决#error qt requires c++11 support问题）
                        pyengine
qtc++开发语言centos
                        
    目录1下载安装文件2安装Qt5.14.2和QtCreator3解决编译问题1下载安装文件从Qt官网或清华大学镜像站https://mirrors.tuna.tsinghua.edu.cn/gnu/gcchttps://mirrors.tuna.tsinghua.edu.cn/qt/archive/qt/5.14/5.14.2/下载Qt安装文件。以清华大学镜像站为例，下载如下：wgethttps:/
    
                    
    • 
                    
  • 安装Qt 5.15.2
                        noodleboy
qt
                        
    安装Qt5.15.2自Qt5.15开始，Qt不提供离线安装包了，需要使用在线安装器安装，但是Qt5.15版本不直接显示。需要勾选Archive选项，且很有可能需要梯子工具。
    
                    
    • 
                    
  • Sqoop安装部署
                        愿与狸花过一生
大数据sqoophadoophive
                        
    ApacheSqoop简介Sqoop（SQL-to-Hadoop）是Apache开源项目，主要用于：将关系型数据库中的数据导入Hadoop分布式文件系统（HDFS）或相关组件（如Hive、HBase）。将Hadoop处理后的数据导出回关系型数据库。核心特性批量数据传输支持从数据库表到HDFS/Hive的全量或增量数据迁移。并行化处理基于MapReduce实现并行导入导出，提升大数据量场景的效率。自
    
                    
    • 
                    
  • Mysql-经典实战案例（10）：如何用PT-Archiver完成大表的自动归档
                        从不删库的DBA
Mysql经典实战案例mysql数据库
                        
    真实痛点：电商订单表存储优化场景现状分析某电商平台订单表（order_info）每月新增500万条记录主库：高频读写，SSD存储（空间告急）历史库：HDD存储，只读查询优化目标✅自动迁移7天前的订单到历史库✅每周六23:30执行，不影响业务高峰✅确保数据一致性第一章：前期准备：沙盒实验室搭建1.1实验环境架构生产库：10.33.112.22历史库：10.30.76.41.2环境初始化（双节点执行）
    
                    
    • 
                    
  • Hive面试题
                        御风行云天
面试题大全hivehadoop数据仓库面试
                        
    Hive面试题1Hive基础概念1.1解释Hive是什么以及它的用途Hive的主要用途：1.2描述Hive架构和组件1.HiveCLI/Beeline和WebUI2.HiveQL3.HiveDriver（驱动）4.Metastore5.Compiler（编译器）6.Optimizer（优化器）7.Executor（执行器）8.HadoopCoreComponents（核心组件）9.HiveUDFs
    
                    
    • 
                    
  • Hive 实际应用场景及对应SQL示例
                        小技工丨
大数据随笔hivesqlhadoop大数据数据仓库
                        
    Hive实际应用场景及对应SQL示例一、‌日志分析场景‌**场景说明‌：**处理大规模日志数据（如Web访问日志），分析用户行为或系统运行状态。SQL示例‌：--统计每日UV（用户访问量）SELECTdate,COUNT(DISTINCTuser_id)ASdaily_uvFROMweb_logsWHEREevent_type='page_view'GROUPBYdate;技术要点‌：使用DIST
    
                    
    • 
                    
  • #Hadoop全分布式安装 #mysql安装 #hive安装
                        砸吧砸吧
hadoophiveyarnmysql
                        
    分布式（多台机器部署不同组件）与集群（多台机器部署相同组件）概念。Linux基础命令linux具有文件数：目录、文件，从根目录开始，路径具有唯一性。pwd：显示当前路径特殊符号：/：根目录.：隐藏文件，如果路径以.开始，表示当前目录下..：当前目录下的上一级~：当前目录的home目录--help：帮助命令使用linux常用操作命令tab键：自动补全ls：显示指定目录内容默认：当前路径-a：显示所有
    
                    
    • 
                    
  • hive 使用oracle数据库
                        sardtass
hadoophive开源项目
                        
    hive使用oracle作为数据源，导入数据使用sqoop或kettle或自己写代码（淘宝的开源项目中有一个xdata就是淘宝自己写的）。感觉sqoop比kettle快多了，淘宝的xdata没用过。hive默认使用derby作为存储表信息的数据库，默认在哪启动就在哪建一个metadata_db文件放数据，可以在conf下的hive-site.xml中配置为一个固定的位置，这样不论在哪启动都可以了。
    
                    
    • 
                    
  • HiveMetastore 的架构简析
                        houzhizhen
hivehive
                        
    HiveMetastore的架构简析HiveMetastore是Hive元数据管理的服务。可以把元数据存储在数据库中。对外通过api访问。hive_metastore.thrift对外提供的Thrift接口定义在文件standalone-metastore/src/main/thrift/hive_metastore.thrift中。内容包括用到的结构体和枚举，和常量，和rpcService。如分
    
                    
    • 
                    
  • Hive与Spark的UDF：数据处理利器的对比与实践
                        窝窝和牛牛
hivesparkhadoop
                        
    文章目录Hive与Spark的UDF：数据处理利器的对比与实践一、UDF概述二、HiveUDF解析实现原理代码示例业务应用三、SparkUDF剖析-JDBC方式使用SparkThriftServer设置通过JDBC使用UDFSparkUDF的Java实现（用于JDBC方式）通过beeline客户端连接使用业务应用场景四、Hive与SparkUDF在JDBC模式下的对比五、实际部署与最佳实践六、总结
    
                    
    • 
                    
  • 尚硅谷电商数仓6.0，hive on spark,spark启动不了
                        新时代赚钱战士
hivesparkhadoop
                        
    在datagrip执行分区插入语句时报错[42000][40000]Errorwhilecompilingstatement:FAILED:SemanticExceptionFailedtogetasparksession:org.apache.hadoop.hive.ql.metadata.HiveException:FailedtocreateSparkclientforSparksessio
    
                    
    • 
                    
  • qt-5.15.2 源码编译 Linux
                        weixin_40857106
服务器运维
                        
    QT官方源码下载地址：https://download.qt.io/archive/qt/5.15/5.15.12/single/qt-everywhere-opensource-src-5.15.12.tar.xz安装Qt所需的依赖：sudoaptinstallbuild-essentiallibgl1-mesa-devlibxkbcommon-devlibnss3-devlibdbus-1-d
    
                    
    • 
                    
  • 鸿蒙HarmonyOS开发：应用程序静态包-HAR
                        让开，我要吃人了
鸿蒙开发OpenHarmonyHarmonyOSharmonyos华为移动开发前端html开发语言鸿蒙
                        
    HAR（HarmonyArchive）是静态共享包，可以包含代码、C++库、资源和配置文件。通过HAR可以实现多个模块或多个工程共享ArkUI组件、资源等相关代码。使用场景作为二方库，发布到OHPM私仓，供公司内部其他应用使用。作为三方库，发布到OHPM中心仓，供其他应用使用。约束限制HAR不支持在设备上单独安装/运行，只能作为应用模块的依赖项被引用。HAR不支持在配置文件中声明UIAbility
    
                    
    • 
                    
  • flutter 使用xcodebuild 命令打包ipa
                        肥肥呀呀呀
flutter
                        
    苹果打ipa包(注意苹果打包需要连接真机)方式一、1.先执行flutterbuildios生成framework2.执行命令xcodebuild-exportArchive-archivePathbuild/ios/Runner.xcarchive-exportOptionsPlistexportOptions.plist-exportPathbuild/ios/ipaexportOptions.
    
                    
    • 
                    
  • Hadoop相关面试题
                        努力的搬砖人.
java面试hadoop
                        
    以下是150道Hadoop面试题及其详细回答，涵盖了Hadoop的基础知识、HDFS、MapReduce、YARN、HBase、Hive、Sqoop、Flume、ZooKeeper等多个方面，每道题目都尽量详细且简单易懂：Hadoop基础概念类1.什么是Hadoop？Hadoop是一个由Apache基金会开发的开源分布式计算框架，主要用于处理和存储大规模数据集。它提供了高容错性和高扩展性的分布式存
    
                    
    • 
                    
  • oracle cdc logminer与oracle xstream
                        24k小善
java大数据flink
                        
    以下为OracleCDC技术中XStream与LogMiner的核心差异解析，结合技术背景、实现原理、性能表现等维度进行系统化对比。一、技术背景与定位差异LogMiner：官方日志分析工具的非正式应用最初设计用于数据库管理员（DBA）审计和分析历史日志，非专为CDC场景优化[1][9][16]。通过解析归档日志（ArchiveLog）或在线日志（OnlineRedoLog）提取变更记录，采用轮询机
    
                    
    • 
                    
  • csv转为utf8编码_中文的csv文件的编码改成utf8的方法
                        John Sheppard
csv转为utf8编码
                        
    直奔主题：把包含中文的csv文件的编码改成utf-8的方法：啰嗦几句：在用pandas读取hive导出的csv文件时，经常会遇到类似UnicodeDecodeError:'gbk'codeccan'tdecodebyte0xa3inposition12这样的问题，这种问题是因为导出的csv文件包含中文，且这些中文的编码不是gbk，直接用excel打开这些文件还会出现乱码，但用记事本打开这些csv则
    
                    
    • 
                    
  • 企业信息化整体架构图
                        weixin_33937913
系统架构
                        
    今天无意间发现一张企业信息化的图，放在这里以后参考。CollaboraticeCommerce转载于:https://www.cnblogs.com/Masterpiece/archive/2004/12/29/83696.html
    
                    
    • 
                    
  • Hive函数大全：从核心内置函数到自定义UDF实战指南（附详细案例与总结）
                        一个天蝎座 白勺 程序猿
大数据开发从入门到实战合集hivehadoop数据仓库
                        
    目录背景‌一、Hive函数分类与核心函数表‌1.内置函数分类‌2.用户自定义函数（UDF）分类二、常用函数详解与实战案例‌1.数学函数‌2.字符串函数‌3.窗口函数‌4.自定义UDF实战‌三、总结与优化建议‌1.核心总结2.性能优化建议‌3.常问问题背景‌Hive作为Hadoop生态中最常用的数据仓库工具，其强大的函数库是高效处理和分析海量数据的核心能力之一。Hive函数分为‌内置函数‌和‌用户自
    
                    
    • 
                    
  • dcm4che
                        jamie_zhengmin
dcm4chearchivejboss工具服务器
                        
    dcm4che工具包DICOMtoolkitDICOM工具包dcm4chee归档服务器器IHE影像管理器和影像归档执行器（dcm4jbossarchive影像归档器，影像扫描检查和报告的管理）dcm4che2重架构dcm4che的重架构实现
    
                    
    • 
                    
  • 将Hive数据导出为CSV和Excel格式的方法
                        翠绿探寻
hiveexcelhadoop编程
                        
    将Hive数据导出为CSV和Excel格式的方法在Hive中存储和处理大规模数据是一项常见的任务。有时候，我们需要将Hive中的数据导出为CSV或Excel格式，以便进行进一步的分析或与其他工具进行集成。本文将介绍如何使用编程的方式将Hive数据导出为CSV和Excel格式，并提供相应的源代码。Hive数据导出为CSV格式要将Hive数据导出为CSV格式，我们可以使用Hive的内置函数INSERT
    
                    
    • 
                    
  • debian11安装MongoDB
                        韩搏
Linux基础mongodb数据库
                        
    debian11bit64安装MongoDB6.0安装必要的包sudoaptinstallgnupgcurl导入MongoDB公钥curl-fsSLhttps://www.mongodb.org/static/pgp/server-6.0.asc|sudogpg--dearmor-o/usr/share/keyrings/mongodb-archive-keyring.gpg创建MongoDB源列
    
                    
    • 
                    
  • linux 安装anaconda与jupyter notebook配置
                        土豆土豆，我是洋芋
python
                        
    一、anaconda安装在官网或清华镜像下载anaconda在载前看一下自己的系统版本，下载对应的anaconda版本。在系统中输入：cat/proc/version，如下图所示##下载地址1）官网：https://www.anaconda.com/distribution/2）清华镜像：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/安
    
                    
    • 
                    
  • Hive 与 SparkSQL 的语法差异及性能对比
                        自然术算
Hivehivehadoop大数据spark
                        
    在大数据处理领域，Hive和SparkSQL都是极为重要的工具，它们为大规模数据的存储、查询和分析提供了高效的解决方案。虽然二者都致力于处理结构化数据，并且都采用了类似SQL的语法来方便用户进行操作，但在实际使用中，它们在语法细节和性能表现上存在诸多差异。了解这些差异，对于开发者根据具体业务场景选择合适的工具至关重要。语法差异数据定义语言（DDL）表创建语法Hive：在Hive中创建表时，需要详细
    
                    
    • 
                    
  • Oracle V$SESSION详解
                        雨的遐想
oracle数据库
                        
    V$SESSION是SYS用户下面对于SYS.V_$SESSION视图的同义词。在本视图中，每一个连接到数据库实例中的session都拥有一条记录。包括用户session及后台进程如DBWR，LGWR，arcchiver等等。1.V$SESSION中的常用列V$SESSION是基础信息视图，用于找寻用户SID或SADDR，及检查用户的动态：（1）SQL_HASH_VALUE，SQL_ADDRESS
    
                    
    • 
                    
  • Spark任务读取hive表数据导入es
                        小小小小小小小小小小码农
hiveelasticsearchsparkjava
                        
    使用elasticsearch-hadoop将hive表数据导入es，超级简单1.引入pomorg.elasticsearchelasticsearch-hadoop9.0.0-SNAPSHOT2.创建sparkconf//spark参数设置SparkConfsparkConf=newSparkConf();//要写入的索引sparkConf.set("es.resource","");//es集
    
                    
    • 
                    
  • Redis 安装详细教程（小白版）
                        小小鸭程序员
springjavaAI编程springcloudredis
                        
    一、Windows系统安装Redis方法1：直接安装（推荐新手）下载RedisforWindows访问微软维护的Redis版本：https://github.com/microsoftarchive/redis/releases下载Redis-x64-3.2.100.msi（或最新版本）安装包。安装Redis双击下载的.msi文件点击下一步，勾选“AddRedisinstallationfolde
    
                    
    • 
                    
  • Hive SQL 精进系列：REGEXP_REPLACE 函数的用法
                        进一步有进一步的欢喜
HiveSQL精进系列hivesqlhadoop
                        
    目录一、引言二、REGEXP_REPLACE函数基础2.1基本语法参数详解2.2简单示例三、REGEXP_REPLACE函数的应用场景3.1去除特殊字符3.2统一字符串格式四、REGEXP_REPLACE与REPLACE函数的对比4.1功能差异4.2适用场景五、REGEXP_REPLACE与REGEXP函数的对比5.1功能差异5.2适用场景六、总结一、引言字符串处理是数据处理中的常见需求，Hive
    
                    
    • 
                    
  • Hive SQL 精进系列：SUBSTR 函数的多样用法
                        进一步有进一步的欢喜
HiveSQL精进系列hivesqlhadoop
                        
    目录一、引言二、SUBSTR函数基础介绍2.1基本语法2.2参数详解2.3简单示例三、SUBSTR函数常见应用场景3.1提取日期中的年份、月份或日期3.2隐藏部分敏感信息四、SUBSTR函数高级用法4.1结合条件判断动态截取4.2处理复杂字符串模式五、总结一、引言SUBSTR函数是HiveSQL中一个用于字符串截取的重要函数，在处理文本数据时发挥着关键作用。本文将全面且深入地介绍HiveSQL中S
    
                    
    • 
                                
  • 分享100个最新免费的高匿HTTP代理IP
                                    mcj8089
代理IP代理服务器匿名代理免费代理IP最新代理IP
                                    
      
推荐两个代理IP网站： 
  
1. 全网代理IP：http://proxy.goubanjia.com/ 
  
2. 敲代码免费IP：http://ip.qiaodm.com/ 
  
  
120.198.243.130:80,中国/广东省
58.251.78.71:8088,中国/广东省
183.207.228.22:83,中国/
    
                                
    • 
                                
  • mysql高级特性之数据分区
                                    annan211
java数据结构mongodb分区mysql
                                    
    


mysql高级特性
  1 以存储引擎的角度分析，分区表和物理表没有区别。是按照一定的规则将数据分别存储的逻辑设计。器底层是由多个物理字表组成。
  
  2 分区的原理
     分区表由多个相关的底层表实现，这些底层表也是由句柄对象表示，所以我们可以直接访问各个分区。存储引擎管理分区的各个底层
	 表和管理普通表一样(所有底层表都必须使用相同的存储引擎)，分区表的索引只是
    
                                
    • 
                                
  • JS采用正则表达式简单获取URL地址栏参数
                                    chiangfai
js地址栏参数获取
                                    
    GetUrlParam:function GetUrlParam(param){
		var reg = new RegExp("(^|&)"+ param +"=([^&]*)(&|$)");
		var r = window.location.search.substr(1).match(reg);
		if(r!=null
    
                                
    • 
                                
  • 怎样将数据表拷贝到powerdesigner (本地数据库表)
                                    Array_06
powerDesigner
                                    
    ================================================== 
 
1、打开PowerDesigner12，在菜单中按照如下方式进行操作 
file->Reverse Engineer->DataBase 
点击后，弹出 New Physical Data Model 的对话框 
2、在General选项卡中 
Model name:模板名字，自
    
                                
    • 
                                
  • logbackのhelloworld
                                    飞翔的马甲
日志logback
                                    
    一、概述 
 
1.日志是啥？ 
当我是个逗比的时候我是这么理解的：log.debug()代替了system.out.print(); 
当我项目工作时，以为是一堆得.log文件。 
这两天项目发布新版本，比较轻松，决定好好地研究下日志以及logback。 
传送门1：日志的作用与方法： 
http://www.infoq.com/cn/articles/why-and-how-log 
上面的作
    
                                
    • 
                                
  • 新浪微博爬虫模拟登陆
                                    随意而生
新浪微博
                                    
    转载自：http://hi.baidu.com/erliang20088/item/251db4b040b8ce58ba0e1235 
  
  
近来由于毕设需要，重新修改了新浪微博爬虫废了不少劲，希望下边的总结能够帮助后来的同学们。 
     现行版的模拟登陆与以前相比，最大的改动在于cookie获取时候的模拟url的请求
    
                                
    • 
                                
  • synchronized
                                    香水浓
javathread
                                    
        Java语言的关键字，可用来给对象和方法或者代码块加锁，当它锁定一个方法或者一个代码块的时候，同一时刻最多只有一个线程执行这段代码。当两个并发线程访问同一个对象object中的这个加锁同步代码块时，一个时间内只能有一个线程得到执行。另一个线程必须等待当前线程执行完这个代码块以后才能执行该代码块。然而，当一个线程访问object的一个加锁代码块时，另一个线程仍然
    
                                
    • 
                                
  • maven 简单实用教程
                                    AdyZhang
maven
                                    
    1. Maven介绍  1.1. 简介 java编写的用于构建系统的自动化工具。目前版本是2.0.9，注意maven2和maven1有很大区别，阅读第三方文档时需要区分版本。 1.2. Maven资源 见官方网站；The 5 minute test，官方简易入门文档；Getting Started Tutorial，官方入门文档；Build Coo
    
                                
    • 
                                
  • Android 通过 intent传值获得null
                                    aijuans
android
                                    
    我在通过intent 获得传递兑现过的时候报错，空指针,我是getMap方法进行传值，代码如下        1   2   3   4   5   6   7   8   9      
public 
void 
getMap(View view){       
         
Intent i =
    
                                
    • 
                                
  • apache 做代理 报如下错误：The proxy server received an invalid response from an upstream
                                    baalwolf
response
                                    
    网站配置是apache＋tomcat,tomcat没有报错，apache报错是： 
The proxy server received an invalid response from an upstream server. The proxy server could not handle the request GET /. Reason: Error reading fr
    
                                
    • 
                                
  • Tomcat6 内存和线程配置
                                    BigBird2012
tomcat6
                                    
    1、修改启动时内存参数、并指定JVM时区 （在windows server 2008 下时间少了8个小时） 
在Tomcat上运行j2ee项目代码时，经常会出现内存溢出的情况，解决办法是在系统参数中增加系统参数：  
window下， 在catalina.bat最前面 
  set JAVA_OPTS=-XX:PermSize=64M -XX:MaxPermSize=128m -Xms5
    
                                
    • 
                                
  • Karam与TDD
                                    bijian1013
KaramTDD
                                    
    一.TDD 
        测试驱动开发（Test-Driven Development,TDD）是一种敏捷（AGILE）开发方法论，它把开发流程倒转了过来，在进行代码实现之前，首先保证编写测试用例，从而用测试来驱动开发（而不是把测试作为一项验证工具来使用）。 
        TDD的原则很简单： 
a.只有当某个
    
                                
    • 
                                
  • [Zookeeper学习笔记之七]Zookeeper源代码分析之Zookeeper.States
                                    bit1129
zookeeper
                                    
        public enum States {
        CONNECTING, //Zookeeper服务器不可用，客户端处于尝试链接状态
        ASSOCIATING, //？？？
        CONNECTED, //链接建立，可以与Zookeeper服务器正常通信
        CONNECTEDREADONLY, //处于只读状态的链接状态，只读模式可以在
    
                                
    • 
                                
  • 【Scala十四】Scala核心八：闭包
                                    bit1129
scala
                                    
    Free variable A free variable of an expression is a variable that’s used inside the expression but not defined inside the expression. For instance, in the function literal expression (x: Int) => (x
    
                                
    • 
                                
  • android发送json并解析返回json
                                    ronin47
android
                                    
    package com.http.test; 
 
 
import org.apache.http.HttpResponse; 
import org.apache.http.HttpStatus; 
import org.apache.http.client.HttpClient; 
import org.apache.http.client.methods.HttpGet; 
import 
    
                                
    • 
                                
  • 一份IT实习生的总结
                                    brotherlamp
PHPphp资料php教程php培训php视频
                                    
    今天突然发现在不知不觉中自己已经实习了 3 个月了，现在可能不算是真正意义上的实习吧，因为现在自己才大三，在这边撸代码的同时还要考虑到学校的功课跟期末考试。让我震惊的是，我完全想不到在这 3 个月里我到底学到了什么，这是一件多么悲催的事情啊。同时我对我应该 get 到什么新技能也很迷茫。所以今晚还是总结下把，让自己在接下来的实习生活有更加明确的方向。最后感谢工作室给我们几个人这个机会让我们提前出来
    
                                
    • 
                                
  • 据说是2012年10月人人网校招的一道笔试题-给出一个重物重量为X,另外提供的小砝码重量分别为1，3，9。。。3^N。 将重物放到天平左侧，问在两边如何添加砝码
                                    bylijinnan
java
                                    
    
public class ScalesBalance {

	/**
	 * 题目：
	 * 给出一个重物重量为X,另外提供的小砝码重量分别为1，3，9。。。3^N。 （假设N无限大，但一种重量的砝码只有一个）
	 * 将重物放到天平左侧，问在两边如何添加砝码使两边平衡
	 * 
	 * 分析：
	 * 三进制
	 * 我们约定括号表示里面的数是三进制，例如 47=(1202
    
                                
    • 
                                
  • dom4j最常用最简单的方法
                                    chiangfai
dom4j
                                    
    要使用dom4j读写XML文档,需要先下载dom4j包,dom4j官方网站在 http://www.dom4j.org/目前最新dom4j包下载地址:http://nchc.dl.sourceforge.net/sourceforge/dom4j/dom4j-1.6.1.zip 
解开后有两个包,仅操作XML文档的话把dom4j-1.6.1.jar加入工程就可以了,如果需要使用XPath的话还需要
    
                                
    • 
                                
  • 简单HBase笔记
                                    chenchao051
hbase
                                    
     一、Client-side write buffer 客户端缓存请求   描述：可以缓存客户端的请求，以此来减少RPC的次数，但是缓存只是被存在一个ArrayList中，所以多线程访问时不安全的。   可以使用getWriteBuffer()方法来取得客户端缓存中的数据。 默认关闭。      二、Scan的Caching   描述： next( )方法请求一行就要使用一次RPC,即使
    
                                
    • 
                                
  • mysqldump导出时出现when doing LOCK TABLES
                                    daizj
mysqlmysqdump导数据
                                    
    　　执行　mysqldump -uxxx -pxxx -hxxx -Pxxxx database tablename > tablename.sql　 
导出表时，会报 
 
mysqldump: Got error: 1044: Access denied for user 'xxx'@'xxx' to database 'xxx' when doing LOCK TABLES 
 
解决
    
                                
    • 
                                
  • CSS渲染原理
                                    dcj3sjt126com
Web
                                    
       从事Web前端开发的人都与CSS打交道很多，有的人也许不知道css是怎么去工作的，写出来的css浏览器是怎么样去解析的呢？当这个成为我们提高css水平的一个瓶颈时，是否应该多了解一下呢？   
  
       一、浏览器的发展与CSS      
  
   
    
                                
    • 
                                
  • 《阿甘正传》台词
                                    dcj3sjt126com

                                    
    Part Ⅰ: 
《阿甘正传》Forrest Gump经典中英文对白 
Forrest: Hello! My names Forrest. Forrest Gump. You wanna Chocolate? I could eat about a million and a half othese. My momma always said life was like a box ochocol
    
                                
    • 
                                
  • Java处理JSON
                                    dyy_gusi
json
                                    
    Json在数据传输中很好用，原因是JSON 比 XML 更小、更快，更易解析。 
在Java程序中，如何使用处理JSON，现在有很多工具可以处理，比较流行常用的是google的gson和alibaba的fastjson，具体使用如下： 
1、读取json然后处理 
class ReadJSON
{
    public static void main(String[] args)
    
    
                                
    • 
                                
  • win7下nginx和php的配置
                                    geeksun
nginx
                                    
    1.  安装包准备 
nginx :  从nginx.org下载nginx-1.8.0.zip 
php： 从php.net下载php-5.6.10-Win32-VC11-x64.zip， php是免安装文件。 
RunHiddenConsole: 用于隐藏命令行窗口 
  
2. 配置 
# java用8080端口做应用服务器，nginx反向代理到这个端口即可 
p
    
                                
    • 
                                
  • 基于2.8版本redis配置文件中文解释
                                    hongtoushizi
redis
                                    
    转载自： http://wangwei007.blog.51cto.com/68019/1548167 
       在Redis中直接启动redis-server服务时, 采用的是默认的配置文件。采用redis-server   xxx.conf 这样的方式可以按照指定的配置文件来运行Redis服务。下面是Redis2.8.9的配置文
    
                                
    • 
                                
  • 第五章 常用Lua开发库3-模板渲染
                                    jinnianshilongnian
nginxlua
                                    
    动态web网页开发是Web开发中一个常见的场景，比如像京东商品详情页，其页面逻辑是非常复杂的，需要使用模板技术来实现。而Lua中也有许多模板引擎，如目前我在使用的lua-resty-template，可以渲染很复杂的页面，借助LuaJIT其性能也是可以接受的。 
  
如果学习过JavaEE中的servlet和JSP的话，应该知道JSP模板最终会被翻译成Servlet来执行；而lua-r
    
                                
    • 
                                
  • JZSearch大数据搜索引擎
                                    颠覆者
JavaScript
                                    
    系统简介： 
 
 大数据的特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。大数据搜索引
    
                                
    • 
                                
  • 10招让你成为杰出的Java程序员
                                    pda158
java编程框架
                                    
    如果你是一个热衷于技术的  
Java 程序员， 那么下面的 10 个要点可以让你在众多 Java 开发人员中脱颖而出。   　　 
1. 拥有扎实的基础和深刻理解 OO 原则   　　对于 Java 程序员，深刻理解 Object Oriented Programming（面向对象编程）这一概念是必须的。没有 OOPS 的坚实基础，就领会不了像 Java 这些面向对象编程语言
    
                                
    • 
                                
  • tomcat之oracle连接池配置
                                    小网客
oracle
                                    
    tomcat版本7.0 
配置oracle连接池方式： 
修改tomcat的server.xml配置文件： 
 <GlobalNamingResources>
 
			  <Resource name="utermdatasource" auth="Container"  
 type="javax.sql.DataSou
    
                                
    • 
                                
  • Oracle 分页算法汇总
                                    vipbooks
oraclesql算法.net
                                    
        这是我找到的一些关于Oracle分页的算法，大家那里还有没有其他好的算法没？我们大家一起分享一下！ 
 
 

-- Oracle 分页算法一
select * from (
       select page.*,rownum rn from (select * from help) page 
       -- 20 = (currentPag
    
                                
    •