kafka架构图详解

kafka架构图详解_第1张图片

Kafka 的每个 borker 都是普通节点,但启动集群时会通过 ZK Lead 选举机制选出一个Leader 作为主节点。
Productor:
生产数据写到 Kafka,持久化到硬盘。对同一个 Topic 来讲,生产者通常只有“一个”(可以多并发)。数据保存时长可配置,默认保存 7 天。
Consumer:
从 Kafka 里消费数据。对同一个 Topic 来讲,消费者会很多,根据业务需要,每个消费端会自动获得一个 ClientID(不需要我们去配置),记录自己消费的位置 offset 保存在 ZK里。

Productor角色的场景:
    1、业务系统写入,利用我们封装的kafka的api。
    2、大数据平台数据采集,我们自己控制。

Consumer角色的场景:
    众多 consumer 消费同一个Topic时:
    需要每个consumer消费完整数据;

消费端属性 groupid 的作用:
    相同 groupid 的多个consumer各自消费一部分数据。
    不同 groupid 的多个consumer消费全量数据。

你可能感兴趣的:(kafka)