sparkStreaming 输入DStream之Kafka数据源两种模式

第一种 receiver

receiver 模式 ： spark 会先使用kafka的高级api 读取一个批次的数据存放在executor内存，然后再进行处理。这种模式有几个不好的地方，第一个 ，kafka topic的partition 与spark的RDD的partition是没有对应关系的，第二个，在spark处理数据出现问题时，可能因spark的executor异常退出，丢失内存里的数据，虽然sparkStreaming支持WAl功能（预写日志，写磁盘）保证数据零丢失，但会牺牲性能。

第二种 direct模式

direct 模式 ：spark 会先查询kafka topic各个partition的offset，在这个批次结束时间，会再查询kafka的各个partition的offset，在执行job时，会调用kafka的低级api通过各个partition的offset并发获取数据，kafka的partition与RDD的partition是一一对应的。性能是最好的，但是在kafka消费时，offset更新到zookeeper有延迟，可能会导致重复消费数据。