kafka的简介

1.

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。

1.1 broker:安装了kafka服务的机器称之为broker

1.2 topic(主题):是用来存放消息,也可以做消息分类

      一个topic实际是由多个partition组成的

1.3 producer:生产者,向topic中生产数据。生产者可以是java客户端、flume等

1.4 consumer:消费者,从topic中拿取数据。消费者可以是java客户端、spark streaming等

 

2.生产者怎样往topic中写数据

2.1 默认是轮询放数据的

2.1.1 分别监控2个分区的主分区中的 00000000000000000000.log文件

2.1.2 在任意一台机器上启动一个生成者(bin目录下)

./kafka-console-producer.sh --topic t1807a1 --broker-list hadoop03:9092

你可以发现数据是轮询放入2个分区的

kafka的简介_第1张图片

kafka的简介_第2张图片

2.2还可以将生产的数据指定写入到某一分区中(代码可以实现,没有该命令)

 

你可能感兴趣的:(kafka的简介)