SparkStreaming连接Kafka的两种方式：Receiver和Direct

1.receiver

receiver连接模式：（0.10版本之后不支持）

1.使用的是kafka high-level consumer API（傻瓜版）

2.receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处理那些数据

可靠的receiver，有确认机制

不可靠的receiver，没有确认机制

3.启用高可靠机制，让数据零丢失，就必须启用Spark Streaming的预写日志机制（Write Ahead Log，WAL），会异步（也有说同步的）保存kafka数据，备份到文件系统中（eg,HDFS）

失败了，会从文件系统中恢复数据

效率低（2次副本拷贝机制）

2.Direct

var offsetRanges = Array[OffsetRange]()
kafkaStream.foreachRDD( kafkaRDD => {
offsetRanges = kafkaRDD.asInstanceof[HashOffsetRange].offsetRanges
val lines = kaflaRDD.map(_._2)
lines.foreachPartition(partition => {
partition.foreach(x => {
println(x)
})
})
for(o <- offsetRanges){
val zkPath = s"${topicDirs.consumerOffsetDir}/$o.{partition}"
ZKUtils.update.updatePersistertentPath(zkClient,zkPath,o.untilOffset.toString)
}
}
)
ssc.tart（）
ssc.awaitTermmination()