Flink-1.9流计算开发：五、keyBy、sum、print函数

Flink-1.9流计算开发：五、keyBy、sum、print函数

Flink是下一代大数据计算平台，可处理流计算和批量计算。《Flink-1.9流计算开发：五、keyBy、sum、print函数》是cosmozhu写的本系列文章的第五篇。通过简单的DEMO来演示keyBy、sum、print函数执行的效果 。

需求

分类统计订单数量

解决方案

public class StreamTest {
	private static final Logger LOG = LoggerFactory.getLogger(StreamTest.class);
	private static final String[] TYPE = { "苹果", "梨", "西瓜", "葡萄", "火龙果" };

	public static void main(String[] args) throws Exception {
		final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
		
		//添加自定义数据源,每秒发出一笔订单信息{商品名称,商品数量}
		DataStreamSource> orderSource = env.addSource(new SourceFunction>() {
			private volatile boolean isRunning = true;
			private final Random random = new Random();
			@Override
			public void run(SourceContext> ctx) throws Exception {
				while (isRunning) {
					TimeUnit.SECONDS.sleep(1);
					ctx.collect(Tuple2.of(TYPE[random.nextInt(TYPE.length)], 1));
				}
			}
			@Override
			public void cancel() {
				isRunning = false;
			}

		}, "order-info");
		
		orderSource
		//将订单流按Tuple的第一个字段分区--商品名称
		.keyBy(0)
		//累加订单流Tuple的第二个字段--商品数量
		.sum(1)
		//将流中的每个元素按标准输出打印
		.print();
		
		env.execute("Flink Streaming Java API Skeleton");
	}
}

执行效果

3> (苹果,1)
3> (西瓜,1)
2> (火龙果,1)
2> (火龙果,2)
1> (葡萄,1)
3> (梨,1)
2> (火龙果,3)
3> (苹果,2)
3> (苹果,3)
3> (西瓜,2)
1> (葡萄,2)
2> (火龙果,4)
3> (苹果,4)
......

小结

在本篇文章中我们使用了自定义数据源，每隔1秒钟自动生成一条订单数据流。然后用过keyBy函数将数据流安装商品类型逻辑分区，然后将分好区的数据进行sum汇总，最后通过print函数打印在标准输出中。本文中使用的Tuple2是flink框架自带的POJO。也可以使用自定义的POJO，keyBy(“字段名”)。注意keyBy的字段的hashcode必须覆写。

代码地址

https://github.com/chaoxxx/learn-flink-stream-api/blob/master/src/main/java/fun/cosmozhu/session5/StreamTest.java

---

作者：cosmozhu --90后的老父亲，专注于保护地球的程序员
个人网站：http://www.cosmozhu.fun
欢迎转载，转载时请注明出处。