大数据Flink(九十六):DML:Deduplication

大数据Flink(九十六):DML:Deduplication_第1张图片

文章目录

DML:Deduplication


DML:Deduplication

Deduplication 定义(支持 Batch\Streaming):Deduplication 其实就是去重,也即上文介绍到的 TopN 中 row_number = 1 的场景,但是这里有一点不一样在于其排序字段一定是时间属性列,不能是其他非时间属性的普通列。在 row_number = 1 时,如果排序字段是普通列 planner 会翻译成 TopN 算子,如果是时间属性列 planner 会翻译成 Deduplication,这两者最终的执行算子是不一样的,Deduplication 相比 TopN 算子专门做了对应的

你可能感兴趣的:(大数据入门核心技术,#,Flink,大数据,flink)