Storm2.0源码分析 -- 消息分发

主函数的处理

程序在main函数中，会设置spout, bolt的分发方式。 其代码如下：

builder.setBolt("word-normalizer", new WordNormalizerBolt(), 1)
                .shuffleGrouping("word-reader");

查看shuffleGrouping的代码，可以跟踪到：

public BoltDeclarer shuffleGrouping(String componentId) {
    return shuffleGrouping(componentId, Utils.DEFAULT_STREAM_ID);
}

public BoltDeclarer shuffleGrouping(String componentId, String streamId) {
    return grouping(componentId, streamId, Grouping.shuffle(new NullStruct()));
}

private BoltDeclarer grouping(String componentId, String streamId, Grouping grouping) {
    commons.get(_boltId).put_to_inputs(new GlobalStreamId(componentId, streamId), grouping);
            return this;
        }

而查看Commons的定义：

    private final Map commons = new HashMap<>();

从这里可以看到commons是一个map， 而这个map的key值为bolt的id， 而value，则是包含了传入的参数”word-reader”与streamId

消息分发的处理

Spout会调用emit将消息发送给下一个bolt进行处理，其代码片断如下：

public List<Integer> emit(List<Object> tuple, Object messageId) {
    return _delegate.emit(Utils.DEFAULT_STREAM_ID, tuple, messageId);
}

其最终代码如进入函数SpoutOutputCollectorImpl::sendSpoutMsg(…)函数，下面对于这个函数进行解析。在这个函数中会根据streams获取对应的List outTasks，这个变量是一个很重要的信息，它关联到我们在第一步讲的内容。我们先分析这个outTask

根据streamID获取task

在发送一个消息的时候，首先需要找到接收消息的接收方。而这个查找过程就是在函数Task::etOutgoingTasks(stream, values)中完成的。
在Task对象中有两个成员变量需要注意：

    private Map<String, Map<String, LoadAwareCustomStreamGrouping>> streamComponentToGrouper;
    private HashMap<String, ArrayList<LoadAwareCustomStreamGrouping>> streamToGroupers;

这两个成员变量是在Task初始化的时候，完成的。

    public Task(Executor executor, Integer taskId) throws IOException {
        this.taskId = taskId;
        this.executor = executor;
        this.workerData = executor.getWorkerData();
        this.topoConf = executor.getTopoConf();
        this.componentId = executor.getComponentId();
        this.streamComponentToGrouper = executor.getStreamToComponentToGrouper();
        this.streamToGroupers = getGroupersPerStream(streamComponentToGrouper);

        ... ... 
    }

我们知道Executor可以分为spout与bolt，executor对象是在创建任务创建的，在创建的任务的时候，初始化的（可以阅读Executor::mkExecutor()函数），程序的函数名写得很清楚，是将Component转成Grouper，而component就是前面我们说的map对象。

消息的分发

当程序通过task获取到对应的outTask对象列表后，就开始发送，其核心代码：

 private List sendSpoutMsg(String stream, List