同为流处理技术，Kafka Streams的API和更为人所熟知的Spark Streaming在很多方面有不少相似之处，比如大量类似的算子。因此，对于一个有Spark经验的工程师来说，编写一个Kafka Streams应用应该上手很快。
流处理概念
数据流（stream）
Stream是KafkaStream中最重要的概念，代表大小没有限制且不断更新的数据集(unbounded, continuously updating data set)，一个Stream是一个有序的，允许重复的不可变的数据集，被定义为一个容错的键值对。
处理拓扑（processor topology）
处理拓扑是整个流处理的运算逻辑，可以理解为一个图（graph）结构，其中的顶点是各个流处理器（stream processor），数据流（stream）则构成了边。
构建方法：
StreamsBuilder builder = new StreamsBuilder();
在实例化StreamBuilder来构建了处理拓扑后，就可以从Kafka抽取topic中的数据：
KStream textLines = builder.stream("stream-in");
并调用算子对数据流进行变换（map/filter/...）
流处理器（processor）
流处理器代表了处理拓扑中的不同步骤，并完成相应的数据转换。
这里，我们着重介绍使用DSL API的由不同算子（map/filter/selectKey...）来定义流处理器的方法。
无状态 & 有状态
无状态（stateless）
无状态（stateless）意味着数据转换的结果仅仅取决于你目前正在处理的数据。
- map
- filter
有状态（stateful）
有状态（stateful）意味着数据转换的结果依赖于一个外部的状态（state），比如一个外部的表格。
- join
- 各类聚合（aggregation）操作
- count （需要之前数据记录的信息）
窗口操作（windowing operation）
窗口操作（windowing operation）不同于Kafka Streams基础的per-record处理方法，它支持将一段时间内的数据集合起来，再一起处理。
比如某些场合希望分析所有产生于前一天/前一个小时的数据。
KStream与KTable
这部分内容可以参考另一篇博文什么是KStream和KTable。
流处理算子
mapValues & map
输入一条记录，输出一条经过变换的记录。
| mapValues | map |
|---|---|
| 只影响value | 可能对key和value都有影响 |
| 不会导致re-partition | 可能导致re-partition |
| KStream和KTable都可以调用 | 只有KStream可以调用 |
uppercased = stream.mapValues(value -> value.toUpperCase())
flatMapValues & flatMap
输入一条记录，输出0条，1条或更多经过变换的记录。
| flatMapValues | flatMap |
|---|---|
| 只影响value | 可能对key和value都有影响 |
| 不会导致re-partition | 可能导致re-partition |
| 只有KStream可以调用 | 只有KStream可以调用 |
words = sentences.flatMapValues(value -> Arrays.asList(value.split(" ")))
/*
(1, "hello")
(1, "hello world") -->
(1, "world")
*/
filter
输入一条记录，输出0条或1条记录。
并不会改变记录本身，也不会触发re-partitioning。
KStream与KTable都可以调用。
KStream positives = stream.filter((key, value) -> value > 0)
selectKey
为数据记录赋一个新的key（从旧的key和value转换而来）
可能触发re-partitioning
rekeyed = stream.selectKey((key, vlaue) -> key.substring(0, 1))
groupByKey
在aggregation操作之前
仅对KStream适用。
- KStream → KGroupedStream
stream.groupByKey().count()
groupBy
相当于selectKey() + groupByKey()
- KStream → KGroupedStream
- KTable → KGroupedTable
可能触发re-partitioning
stream.groupBy(
(key, value) -> value,
Serialized.with(
Serdes.String(), /* key (note: type was modified) */
Serdes.String()) /* value */
);