一种基于动态水位值的Flink调度优化算法(flink1.5以前),等同于实现flink的Credit-based反压原理

优化flink反压

  • 说明
  • 1 flink反压介绍
    • 1.1 介绍
    • 1.2 大数据系统反压现状
    • 1.4 flink task与task之间的反压
    • 1.5 netty水位机制作用分析
  • 2 反压优化算法
  • 3 重点! 但是 可但是 flink1.5以后的反压过程。
  • 4 flink反压问题的查找瓶颈办法

说明

首先说明,偶然看了个论文,发现 flink优化原来比我想象中的更简单,得到了一些启发,所以写下这篇帖子,供大家共同学习。
看到的论文是《计算机科学与应用》21年11月的一篇 名字就叫做 : 一种基于动态水位值的Flink调度优化算法。感兴趣的小伙伴可以自己看一下 ,很短没多少字。
但是 很离谱的是 这篇论文中的方法在flink1.5以后的反压机制中早就实现了,我不知道 这篇论文为什么能发表在21年11月的期刊上,也可能是我看论文看的不对?反正就当学习个人实现 flink1.5的反压机制更新了

1 flink反压介绍

1.1 介

你可能感兴趣的:(flink,算法,大数据)