kfaka基本概念

Kafka

第一章 kafka基本概念

---

一、kafak作用？

1. Kafka是一种高吞吐量的分布式发布订阅消息系统，具有高性能、持久化、多副本备份、横向扩展能力。
2. 优点：解耦、削峰和灵活、缓冲（生产大于消费）、可恢复性
   

二、基本概念

1. broker：一个kafka服务实例，几个broker共同组成一个集群
2. topic：消息分类 **注意：**Topic分区中消息只能由消费者组中的唯一一个消费者处理
3. partition：一个topic有多个partition **思考：多个partition作用？**Kafka中采用分区的设计有几个目的。一是可以处理更多的消息，不受单台服务器的限制。Topic拥有多个分区意味着它可以不受限的处理更多的数据。第二，分区可以作为并行处理的单元。
4. 一个分区下有多个segament，一个segement有log和index文件。思考：查找的过程？

 根据offset，二分查看到文件
 根据offset，查看index文件对应位置的偏移量和message大小
 对应到log中找到message