Kafka架構組成部分,kafaka特點(優點)

文章目录

  • 一、Kafka架構 (高吞吐的分佈式消息系統)
    • 1、partition :
    • 2、topic :
    • 3、zookeeper :
  • 二、Kafka 優點
    • 1、高性能,持久性
    • 2、数据保存在磁盘上凭什么快(kafka高性能的原因)

一、Kafka架構 (高吞吐的分佈式消息系統)

Kafka架構組成部分,kafaka特點(優點)_第1张图片

1、partition :

是物理概念:生產者會把數據分成不同的幾份,然後存到 partition 上

2、topic :

是抽象概念,他是不同節點上partition的總和

3、zookeeper :

是存儲 kafka 元數據信息的,啓動kafka之前必須啓動zookeeper
zookeeper在kafka中起的作用 :https://blog.csdn.net/qq_44472134/article/details/104222601
Kafka架構組成部分,kafaka特點(優點)_第2张图片
編輯 vi /usr/local/ kafka_2.11-1.0.1/config/server.properties 修改文件保存的時間(默認是7天)

二、Kafka 優點

1、高性能,持久性

• 消息系统的特点:生产者消费者模型,FIFO 并不是严格意义上的先进先出。
• 高性能:单节点支持上千个客户端,百MB/s吞吐
• 持久性:消息直接持久化在普通磁盘上且性能好

2、数据保存在磁盘上凭什么快(kafka高性能的原因)

分布式 磁盘瓶颈翻倍
0拷贝技术
顺序写 写的速度非常的快
顺序读 读的速度非常的快
批量读批量写
• 分布式:数据副本冗余、流量负载均衡、可扩展
• 很灵活:消息长时间持久化+Client维护消费状态(server端 kafka端 clinet端消费者端)
注意: partition内部是FIFO 的,partition之间不是FIFO,当然我们可以把topic设为一个partition,这样就严格的FIFO

你可能感兴趣的:(Kafka,kafka,大数据)