88、Spark Streaming之输入DStream之Kafka数据源实战(基于Direct的方式)
基于Direct的方式这种新的不基于Receiver的直接方式,是在Spark1.3中引入的,从而能够确保更加健壮的机制。替代掉使用Receiver来接收数据后,这种方式会周期性地查询Kafka,来获得每个topic+partition的最新的offset,从而定义每个batch的offset的范围。当处理数据的job启动时,就会使用Kafka的简单consumerapi来获取Kafka指定off