Flink 源码之Credit Based反压

Flink源码分析系列文档目录

请点击：Flink 源码分析系列文档目录

什么是credit反压

在数据发送端（CreditBasedSequenceNumberingViewReader）维护了对应的数据接收端（RemoteInputChannel）的credit信息，表示下游还可以接收credit个buffer的数据。每一次向下游发送buffer数据的时候（getNextBuffer），credit减去buffer的数量。当credit值为0的时候，停止向下游发送数据。下游在有新的空闲内存的时候会通知上游有新的credit可用（notifyCreditAvailable）。上游接收到新增的credit数量之后，更新对应channel的credit数量，重新开始向下游发送数据。

下游AddCredit请求的发送过程

RemoteInputChannel有新credit可用的时候需要告知上游去增加自己的credit数值。以上通过调用notifyCreditAvailable方法完成。此通知方法在回收内存(recycle)，监听器发现有缓存可用的回调函数（notifyBufferAvailable）和分配积压任务所需内存（onSenderBacklog）时，新增加的buffer数大于0且unannouncedCredit从0变为非0的时候调用（unannouncedCredit为RemoteInputChannel暂时还没有向上游reader报告的可用credit数量，下文有此变量的分析）。
通过跟踪我们发现最底层调用的是CreditBasedPartitionRequestClientHandler的notifyCreditAvailable。代码如下所示：

@Override
public void notifyCreditAvailable(final RemoteInputChannel inputChannel) {
    ctx.executor().execute(() -> ctx.pipeline().fireUserEventTriggered(inputChannel));
}

这段代码发送了一个userEvent。
接下来
CreditBasedPartitionRequestClientHandler的userEventTriggered会得到响应，调用处理notifyCreditAvailable逻辑。代码如下：

@Override
public void userEventTriggered(ChannelHandlerContext ctx, Object msg) throws Exception {
    if (msg instanceof RemoteInputChannel) {
        boolean triggerWrite = inputChannelsWithCredit.isEmpty();

        // 加入inputChannelsWithCredit队列
        inputChannelsWithCredit.add((RemoteInputChannel) msg);

        // 如果入队之前队列为空，调用writeAndFlushNextMessageIfPossible方法
        // 发送AddCredit请求到server端
        if (triggerWrite) {
            writeAndFlushNextMessageIfPossible(ctx.channel());
        }
    } else {
        ctx.fireUserEventTriggered(msg);
    }
}

我们跟踪到writeAndFlushNextMessageIfPossible方法。发现如下内容：

private void writeAndFlushNextMessageIfPossible(Channel channel) {
    if (channelError.get() != null || !channel.isWritable()) {
        return;
    }

    while (true) {
        // 从inputChannelsWithCredit获取一个InputChannel
        RemoteInputChannel inputChannel = inputChannelsWithCredit.poll();

        // The input channel may be null because of the write callbacks
        // that are executed after each write.
        if (inputChannel == null) {
            return;
        }

        //It is no need to notify credit for the released channel.
        // 如果channel没有被释放，构造一个AddCredit请求并发送
        if (!inputChannel.isReleased()) {
            AddCredit msg = new AddCredit(
                inputChannel.getPartitionId(),
                // 此处获取并清零RemoteInputChannel的unannouncedCredit
                // unannouncedCredit为尚未向reader上报的可用credit数量
                // 下文有详细分析
                inputChannel.getAndResetUnannouncedCredit(),
                inputChannel.getInputChannelId());

            // Write and flush and wait until this is done before
            // trying to continue with the next input channel.
            channel.writeAndFlush(msg).addListener(writeListener);

            return;
        }
    }
}

上游接收并处理AddCredit请求的过程

CreditBasedSequenceNumberingViewReader在Netty的 Server端运行，负责维护下游和subpartitionView的对应关系。每一次调用requestSubpartitionView都会创建出一个CreditBasedSequenceNumberingViewReader。

CreditBasedSequenceNumberingViewReader增加credit的逻辑在PartitionRequestServerHandler的channelRead0方法中。消费端发送AddCredit消息之后会被此handler读取到，进行如下操作（无关代码已省略）：

// ...
// 如果接收到的消息是AddCredit（增加credit）
else if (msgClazz == AddCredit.class) {
    AddCredit request = (AddCredit) msg;
    
    // 调用addCredit方法
    outboundQueue.addCredit(request.receiverId, request.credit);
}
// ...

这里outboundQueue为PartitionRequestQueue。我们分析下它的addCredit方法。代码如下：

void addCredit(InputChannelID receiverId, int credit) throws Exception {
    if (fatalError) {
        return;
    }

    // 根据receiverId获取reader
    NetworkSequenceViewReader reader = allReaders.get(receiverId);
    if (reader != null) {
        // 调用reader的增加credit方法
        reader.addCredit(credit);

        // 可用reader入队
        enqueueAvailableReader(reader);
    } else {
        throw new IllegalStateException("No reader for receiverId = " + receiverId + " exists.");
    }
}

接下来跟踪到reader.addCredit(credit)调用。我们看下CreditBasedSequenceNumberingViewReader的addCredit方法：

@Override
public void addCredit(int creditDeltas) {
    numCreditsAvailable += creditDeltas;
}

CreditBasedSequenceNumberingViewReader有一个numCreditsAvailable变量，用于记录该reader可用的credit数量。

回到enqueueAvailableReader方法。该方法将reader加入到可用reader队列中并发送此reader对应subpartitionView的buffer到下游。它的代码如下：

private void enqueueAvailableReader(final NetworkSequenceViewReader reader) throws Exception {
    // 如果reader已注册为可用（调用过enqueueAvailableReader）或者reader本身不可用，直接返回。这两个方法后续分析
    if (reader.isRegisteredAsAvailable() || !reader.isAvailable()) {
        return;
    }
    // Queue an available reader for consumption. If the queue is empty,
    // we try trigger the actual write. Otherwise this will be handled by
    // the writeAndFlushNextMessageIfPossible calls.
    // 如果availableReader队列在添加reader之前为空，需要触发数据发送操作
    boolean triggerWrite = availableReaders.isEmpty();
    // 注册此reader为可用reader
    registerAvailableReader(reader);

    if (triggerWrite) {
        // 写入reader对应的subpartitionView到下游task
        writeAndFlushNextMessageIfPossible(ctx.channel());
    }
}

enqueueAvailableReader的isAvailable方法返回该reader的数据是否可以发送到下游。代码如下：

@Override
public boolean isAvailable() {
    // BEWARE: this must be in sync with #isAvailable(BufferAndBacklog)!
    // 如果可用credit大于0，并且subpartitionView也可用的时候返回true
    if (numCreditsAvailable > 0) {
        return subpartitionView.isAvailable();
    }
    else {
        // 或者说subpartitionView将要读取的下一个buffer是event类型
        // 意思是event类型的数据无视是否有可用credit，无条件发送给下游task
        return subpartitionView.nextBufferIsEvent();
    }
}

我们在看看registerAvailableReader方法。

private void registerAvailableReader(NetworkSequenceViewReader reader) {
    // 添加reader到availableReaders队列
    availableReaders.add(reader);
    // 设置reader已注册为可用的标记为true
    reader.setRegisteredAsAvailable(true);
}

getNextBuffer方法，numCreditsAvailable 减一之后判断是否还有可用的credit，如果没有则抛出IllegalStateException。代码如下：

@Override
public BufferAndAvailability getNextBuffer() throws IOException, InterruptedException {
    BufferAndBacklog next = subpartitionView.getNextBuffer();
    if (next != null) {
        sequenceNumber++;

        if (next.buffer().isBuffer() && --numCreditsAvailable < 0) {
            throw new IllegalStateException("no credit available");
        }

        return new BufferAndAvailability(
            next.buffer(), isAvailable(next), next.buffersInBacklog());
    } else {
        return null;
    }
}

RemoteInputChannel的unannouncedCredit变量

unannouncedCredit统计了RemoteInputChannel暂时还没有向上游reader报告的可用credit数量。该统计字段在如下情况会增加：

• 调用recycle方法：内存缓存片段（MemorySegment）被回收的时候。
• 调用notifyBufferAvailable方法：从BufferPool请求Buffer失败会注册一个BufferListener。当Listener发现有Buffer恢复可用的时候会调用此方法。详细参见Flink 源码之节点间通信

RemoteInputChannel还有一个获取并清零unannouncedCredit的方法getAndResetUnannouncedCredit。该方法的唯一调用在CreditBasedPartitionRequestClientHandler类的writeAndFlushNextMessageIfPossible方法。此方法在上面已经分析过，不再赘述。