4.流式计算 - spark direct方式计算手动控制kafka偏移度[spark straming2.1 + kafka0.10.2.0]
流式计算，sparkstreaming之前有sparkcore开发的积累，直接使用sparkstreaming来进行流式计算开发是比较节省开发成本的。业界同样还有优秀的流式计算框架，简单介绍一下1、Storm响应快，纯流式，底层全是无锁编程，想做汇聚，想搞个中间状态，需要借助外部存储。2、Samzakafka上接了MR，使用yarn来管理集群，Topic取下来，samza处理（MR），输出放入to