[flow]Kafka+Spark Streaming+Redis实时计算整合

---

Spark 实战, 第 2 部分:使用 Kafka 和 Spark Streaming 构建实时数据处理系统
https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/
关于 Spark Steaming
Spark Streaming 模块是对于 Spark Core 的一个扩展，目的是为了以高吞吐量，并且容错的方式处理持续性的数据流。目前 Spark Streaming 支持的外部数据源有 Flume、 Kafka、Twitter、ZeroMQ、TCP Socket 等。
Discretized Stream 也叫 DStream) 是 Spark Streaming 对于持续数据流的一种基本抽象，在内部实现上，DStream 会被表示成一系列连续的 RDD(弹性分布式数据集)，每一个 RDD 都代表一定时间间隔内到达的数据。所以在对 DStream 进行操作时，会被 Spark Stream 引擎转化成对底层 RDD 的操作。对 Dstream 的操作类型有:

Transformations: 类似于对 RDD 的操作，Spark Streaming 提供了一系列的转换操作去支持对 DStream 的修改。如 map,union,filter,transform 等

Window Operations: 窗口操作支持通过设置窗口长度和滑动间隔的方式操作数据。常用的操作有 reduceByWindow,reduceByKeyAndWindow,window 等

Output Operations: 输出操作允许将 DStream 数据推送到其他外部系统或存储平台, 如 HDFS, Database 等，类似于 RDD 的 Action 操作，Output 操作也会实际上触发对 DStream 的转换操作。常用的操作有 print,saveAsTextFiles,saveAsHadoopFiles, foreachRDD 等。

---

简单之美 | Kafka+Spark Streaming+Redis实时计算整合实践
http://shiyanjun.cn/archives/1097.html

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于Spark Streaming的实时计算。
我们的应用场景是分析用户使用手机App的行为，描述如下所示：

手机客户端会收集用户的行为事件（我们以点击事件为例），将数据发送到数据服务器，我们假设这里直接进入到Kafka消息队列
后端的实时服务会从Kafka消费数据，将数据读出来并进行实时分析，这里选择Spark Streaming，因为Spark Streaming提供了与Kafka整合的内置支持
经过Spark Streaming实时计算程序分析，将结果写入Redis，可以实时获取用户的行为数据，并可以导出进行离线综合统计分析

---

开源大数据技术漫谈
http://sanwen8.cn/p/150ZTVb.html
实时数据输入解决方案让输入数据以流的方式实时地进入大数据系统，而不必先存储到HDFS文件系统中，从而避免了由于磁盘IO造成的性能损失。Apache Kafka， RabbitMQ，Apache Flume等是当前比较流行的开源方案，其中Apache Kafka越来越引人注目，这主要归功于其恐怖的性能指标。 Kafka目前用于LinkedIn，它每天处理超过100亿消息，持续负载平均每秒172,000消息。目前，无论从内部和外部的使用数据的应用程序大量使用多订阅者支持。每个消息发布出来后，基本上会有5.5个消息消费者使用，这导致的结果是每一天将有550亿的消息发送给实时消费者。

---