kafka

低阶api 一个kafka的partition,对应dstream里的rdd的一个分区。自己管理偏移量。可以限制单位时间内拉取kafka某个partition的条数,传brokers参数
高阶api 在executor上启动receiver,各个receiver连接zk,获取各个leader的partition,然后receiver再连broker拉取数据,可以规定拉取的间隔,但是不能限制单位时间内拉取的条数。zookeeper管理偏移量,记log,写checkpoint。不能限制一批的条数,传zk参数

你可能感兴趣的:(kafka)