使用场景: 聚合函数即 UDAF,常⽤于进多条数据,出⼀条数据的场景。
上图展示了⼀个 聚合函数的例⼦ 以及 聚合函数包含的重要⽅法。
案例场景:
关于饮料的表,有三个字段,分别是 id、name、price,表⾥有 5 ⾏数据,找到所有饮料⾥最贵的饮料的价格,即执⾏⼀个 max() 聚合拿到结果,遍历所有 5 ⾏数据,最终结果就只有⼀个数值。
开发流程:
实现 AggregateFunction 接⼝,其中所有的⽅法必须是 public 的、⾮ static 的;
必须实现以下⽅法:
某些场景下必须实现:
关于⼊参、出参数据类型信息的⽅法:
默认情况下,⽤户的 Input 输⼊参数( accumulate(Acc accumulator, Input输⼊参数) 的⼊参 Input输⼊参数 )、accumulator( Acc聚合中间结果 createAccumulator() 的返回结果)、 Output输出参数数据类型( Output输出参数 getValue(Acc accumulator) 的 Output输出参数 )会被 Flink 使⽤反射获取到。
对于 accumulator 和 Output 输出参数类型,Flink SQL 的类型推导在遇到复杂类型时会推导出错误的结果(注意:Input输⼊参数 因为是上游算⼦传⼊的,类型信息是确认的,不会出现推导错误),⽐如⾮基本类型 POJO 的复杂类型。
同 ScalarFunction 和 TableFunction, AggregateFunction 提供了 AggregateFunction#getResultType() 和AggregateFunction#getAccumulatorType() 指定最终返回值类型和 accumulator 的类型,两个函数的返回值类型是TypeInformation。
案例: 加权平均值
实现思路:
为了计算加权平均值,accumulator 需要存储加权总和以及数据的条数,定义了类 WeightedAvgAccumulator 作为 accumulator,Flink 的 checkpoint 机制会⾃动保存 accumulator,在失败时进⾏恢复,保证精确⼀次的语义。
WeightedAvg(聚合函数)的 accumulate ⽅法有三个输⼊参数,第⼀个是 WeightedAvgAccum accumulator,另外两个是⽤户⾃定义的输⼊:输⼊的值 ivalue 和 输⼊的权重 iweight,尽管 retract()、merge()、resetAccumulator() ⽅法在⼤多数聚合类型中都不是必须实现的,但在样例中提供了他们的实现,并且定义了 getResultType() 和 getAccumulatorType()。
代码案例:
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.EnvironmentSettings;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.table.functions.AggregateFunction;
import java.io.Serializable;
import static org.apache.flink.table.api.Expressions.$;
import static org.apache.flink.table.api.Expressions.call;
/**
* 输入数据:
* a,1,1
* a,10,2
*
* 输出结果:
* res1=>:1> +I[a, 1.0]
* res2=>:1> +I[a, 1.0]
* res3=>:1> +I[a, 1.0]
*
* res1=>:1> -U[a, 1.0]
* res1=>:1> +U[a, 7.0]
* res3=>:1> -U[a, 1.0]
* res3=>:1> +U[a, 7.0]
* res2=>:1> -U[a, 1.0]
* res2=>:1> +U[a, 7.0]
*/
public class AggregateFunctionTest {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
EnvironmentSettings settings = EnvironmentSettings.newInstance()
.useBlinkPlanner()
.inStreamingMode()
.build();
StreamTableEnvironment tEnv = StreamTableEnvironment.create(env, settings);
DataStreamSource source = env.socketTextStream("localhost", 8888);
SingleOutputStreamOperator> tpStream = source.map(new MapFunction>() {
@Override
public Tuple3 map(String input) throws Exception {
return new Tuple3<>(input.split(",")[0],
Double.parseDouble(input.split(",")[1]),
Double.parseDouble(input.split(",")[2]));
}
});
Table table = tEnv.fromDataStream(tpStream, "field,iValue,iWeight");
tEnv.createTemporaryView("SourceTable", table);
Table res1 = tEnv.from("SourceTable")
.groupBy($("field"))
.select($("field"), call(WeightedAvg.class, $("iValue"), $("iWeight")));
// 注册函数
tEnv.createTemporarySystemFunction("WeightedAvg", WeightedAvg.class);
// Table API 调⽤函数
Table res2 = tEnv.from("SourceTable")
.groupBy($("field"))
.select($("field"), call("WeightedAvg", $("iValue"), $("iWeight")));
// SQL API 调⽤函数
Table res3 = tEnv.sqlQuery("SELECT field, WeightedAvg(`iValue`, iWeight) FROM SourceTable GROUP BY field");
tEnv.toChangelogStream(res1).print("res1=>");
tEnv.toChangelogStream(res2).print("res2=>");
tEnv.toChangelogStream(res3).print("res3=>");
env.execute();
}
// ⾃定义⼀个计算权重 avg 的 accmulator
public static class WeightedAvgAccumulator implements Serializable {
public Double sum = 0.0;
public Double count = 0.0;
}
// 输⼊:Long iValue, Integer iWeight
public static class WeightedAvg extends AggregateFunction {
// 创建⼀个 accumulator
@Override
public WeightedAvgAccumulator createAccumulator() {
return new WeightedAvgAccumulator();
}
public void accumulate(WeightedAvgAccumulator acc, Double iValue, Double iWeight) {
acc.sum += iValue * iWeight;
acc.count += iWeight;
}
public void retract(WeightedAvgAccumulator acc, Double iValue, Double iWeight) {
acc.sum -= iValue * iWeight;
acc.count -= iWeight;
}
// 获取返回结果
@Override
public Double getValue(WeightedAvgAccumulator acc) {
if (acc.count == 0) {
return null;
} else {
return acc.sum / acc.count;
}
}
// Session window 使⽤这个⽅法将⼏个单独窗⼝的结果合并
public void merge(WeightedAvgAccumulator acc, Iterable it) {
for (WeightedAvgAccumulator a : it) {
acc.count += a.count;
acc.sum += a.sum;
}
}
public void resetAccumulator(WeightedAvgAccumulator acc) {
acc.count = 0.0;
acc.sum = 0.0;
}
}
}
测试结果: