Druid源码解析-Segment文件

IncrementalIndex

IncrementalIndex类有两个重要的成员metricDescs和dimensionDescs

private final Map metricDescs;
private final Map dimensionDescs;

metricDescs和dimensionDescs在IncrementalIndex的构造函数中被初始化。

MetricDesc

每个MetricDesc中有几个重要的成员：

private final int index;                              // metric序号
private final String name;                            // metric名字
private final String type:                            // metric类型
private final ColumnCapabilitiesImpl capabilities     // metric能力

MetricDesc的构造函数：

public MetricDesc(int index, AggregatorFactory factory) 
{
  this.index = index;
  this.name = factory.getName();

  String typeInfo = factory.getTypeName();
  this.capabilities = new ColumnCapabilitiesImpl();
  if ("float".equalsIgnoreCase(typeInfo)) {
    capabilities.setType(ValueType.FLOAT);
    this.type = typeInfo;
  } else if ("long".equalsIgnoreCase(typeInfo)) {
    capabilities.setType(ValueType.LONG);
    this.type = typeInfo;
  } else if ("double".equalsIgnoreCase(typeInfo)) {
    capabilities.setType(ValueType.DOUBLE);
    this.type = typeInfo;
  } else {
    capabilities.setType(ValueType.COMPLEX);
    this.type = ComplexMetrics.getSerdeForType(typeInfo).getTypeName();
  }
}

每个AggregatorFactory的实例都有一个名字，通过getTypeName（）方法获取。这是接口中的函数，实现AggregatorFactory需要实现这个函数。比如CountAggregatorFactory的getTypeName()方法返回“long”,HyperUniquesAggregatorFactory的getTypeName返回的是“hyperUnique”。
如果对AggregatorFactory调用getTypeName返回的名字不是”float“，”long“，”double“普通的类型，而是复杂的自定义的类型，例如HyperUniqueAggregatorFactory或者Datasketch。
IncrementalIndex中通过如下代码构造每个metric的MetricDesc：

for (AggregatorFactory metric : metrics) {
  MetricDesc metricDesc = new MetricDesc(metricDesc.size(), metric);
  metricDescs.put(metricDesc.getName(), metricDesc);
}

DimensionDesc

每个DimensionDesc中有几个重要的成员：

private final int index;      // dimension序号
private final String name;    // dimnesion名字
private final ColumnCapabilitiesImpl capabilities    // dimension能力
private final DimensionHandler handler;
private final DimensionIndexer indexer;

DimensionHandller

DimensionHandller对象封装了特定于某一个dimension的索引。列合并，创建，以及查询操作。这些操作
通过DimensionHandler方法创建的对象（DimensionIndexer通过makeIndexer创建），
DimensionMerge通过makeMerger创建，DimensionColumnReader）handle。每个Diemension的handler
对象都特定于一个单独的dimension.

DimensionIndexer

每个dimension对应一个DimensionIndexer，用于内存中处理注入的一行数据。

ColumnCapabilitiesImpl
IncrementalIndex的构造函数中定义了每个dimension的capabilities:

  private ColumnCapabilitiesImpl makeCapabilitiesFromValueType(ValueType type) {
        ColumnCapabilitiesImpl capabilities = new ColumnCapabilitiesImpl();
        capabilities.setDictionaryEncoded(type == ValueType.STRING);
        capabilities.setHasBitmapIndexes(type == ValueType.STRING);
        capabilities.setType(type);
        return capabilities;
    }

可见只有string类型的dimension才支持字典编码。
根据不同的capabilities生成不同的DimensionHandler:

  DimensionHandler handler = DimensionHandlerUtils.getHandlerFromCapabilities(
                       dimName,
                       capabilities,
                       dimSchema.getMultiValueHandling()
               );
               addNewDimension(dimName, capabilities, handler);

一般这里都是StringDimensionHandler。实际应用中，String类型数据居多。

IncrementalIndex中写入一行数据

首先会经过parseBatch等流程，解析一行数据，最终生成MapBasedInputRow，然后调用 index.add（InputRow row）方法，添加数据，开始之后一系列处理。
对于一行数据中的某一列的值，调用

   Object dimsKey = indexer.processRowValsToUnsortedEncodedKeyComponent(
                        row.getRaw(dimension),
                        reportParseExceptions
                );

这里的row.getRaw(dimension)解析出一行数据中的，dimension这一列的数据。
indexer在DimensionHandler的类型为DimensionIndexer的成员。一般都是String类型的，实际类型是
StringDimensionIndexer。

看下StringDimensionIndexer的processRowValsToUnsortedEncodedKeyComponent方法。主要是维护了键-值映射。

private final Object2IntMap valueToId = new Object2IntOpenHashMap<>();
private final List idToValue = new ArrayList<>();

valueToId存储了一个string值对应一个int编码，idToValue则维护了id到值的关系。

processRowValsToUnsortedEncodedKeyComponent方法

在DimensionIndexer中好几个处理数据的encoder的方法。这个方法是处理原始值。
如果传如的是null，返回-1.
否则返回编码后的值：

  final int[] encodedDimensionValues;
    final int oldDictSize = dimLookup.size();

    if (dimValues == null) {
      dimLookup.add(null);
      encodedDimensionValues = null;
    } else if (dimValues instanceof List) {
      List