10.DStream的transformation操作概览

transformation操作概览（一）

Transformation	Meaning
map	对传入的每个元素，返回一个新的元素
flatMap	对传入的每个元素，返回一个或多个元素
filter	对传入的元素返回true或false，返回的false的元素被过滤掉
union	将两个DStream进行合并
count	返回元素的个数
reduce	对所有values进行聚合
countByValue	对元素按照值进行分组，对每个组进行计数，最后返回的格式
reduceByKey	对key对应的values进行聚合
cogroup	对两个DStream进行连接操作，一个key连接起来的两个RDD的数据，都会以Iterable的形式，出现在一个Tuple中。

transformation操作概览（二）

 

Transformation	Meaning
join	对两个DStream进行join操作，每个连接起来的pair，作为新DStream的RDD的一个元素
transform	对数据进行转换操作
updateStateByKey	为每个key维护一份state，并进行更新（这个，我认为，是在普通的实时计算中，最有用的一种操作）
window	对滑动窗口数据执行操作（实时计算中最有特色的一种操作）

 

---

文章最后，给大家推荐一些受欢迎的技术博客链接：

1. Hadoop相关技术博客链接
2. Spark 核心技术链接
3. JAVA相关的深度技术博客链接
4. 超全干货--Flink思维导图，花了3周左右编写、校对
5. 深入JAVA 的JVM核心原理解决线上各种故障【附案例】
6. 请谈谈你对volatile的理解？--最近小李子与面试官的一场“硬核较量”
7. 聊聊RPC通信，经常被问到的一道面试题。源码+笔记，包懂

 

---

欢迎扫描下方的二维码或 搜索 公众号“10点进修”，我们会有更多、且及时的资料推送给您，欢迎多多交流！