KafKa快速入门
一、为什么使用消息队列
1.使用同步的通信方式来解决多个服务之间的通信
同步的通信方式会存在性能和稳定性的问题
2.使用异步的通信方式
针对于同步的通信方式来说，异步的方式，可以让上游快速成功，极大提高了系统的吞吐量，而且在分布式系统中，通过下游服务多个服务的分布式事务的保障，也能保障业务执行之后的最终一致性。
二、什么是消息队列
三、消息队列的流派
目前消息队列中间件选型有很多种
- rabbitMQ
- rocketMQ：阿里内部的一个大神，根据kafka内部原理手写的一个消息队列中间件
- kafka: 全球消息处理性能最快的一个
- zeroMQ
消息队列大致分为两种
- 有Broker的MQ
重topic（kafka、rocketMQ、ActiveMQ）:整个broker,依据topic来进行消息的中转，在重topic的消息队列里必然需要topic的存在
轻topic（rabbitMQ）：topic只是其中的一种中转模式。
- 无Broker的MQ(zeroMQ)
在生产者和消费者中没有使用broker,直接使用socket进行通信。
这个Broker主要就是控制消息的中转，生产者把消息发送给它就结束了自己的任务了，Broker则把消息主动推送给消费者（或者消费者主动轮询）
四、kafka介绍
kafka中的一些基本概念
创建topic
- 通过kafka命令向zk中创建一个主题
./kafka-topics.sh --create --zookeeper 10.10.6.44:2181 --replication-factor 1 --partitions 1 --topic test
- 查看当前zk中所有的主题
./kafka-topics.sh --list --zookeeper 10.10.6.44:2181
发送消息
kafka自带了一个producer命令客户端，可以从本地文件中读取内容，或者我们也可以以命令行中直接输入内容，并将这些内容已消息的形式发送到kafka集群中。在默认情况下，每一行会被当做一个独立的消息，使用kafka的发送消息的客户端，指定发送到kafka服务器地址和topic
./kafka-console-producer.sh --broker-list 10.10.6.44:9092 --topic test
消费消息
对于consumer kafka同样也携带了一个命令行客户端，会将获取到内容在命令行中进行输出，默认是消费最新的消息，使用kafka的消费者消息的客户端，从指定kafka服务器的指定topic中消费消息
- 方式一：从最后一条消息的偏移量+1开始消费
./kafka-console-consumer.sh --bootstrap-server 10.10.6.44:9092 --topic test
- 方式二：从头开始消费
./kafka-console-consumer.sh --bootstrap-server 10.10.6.44:9092 --from-begining --topic test
单播消息
在一个kafka的topic中，启动两个消费者，一个生产者,问：生产者发送消息时，这条消息是否可以同时被两个消费者消费？
- 如果多个消费者在同一个消费组，那么只有一个消费者可以收到订阅topic中的消息，换言之，同一个消费组中只能有一个消费者收到一个topic中的消息
./kafka-console-consumer.sh --bootstrap-server 10.10.6.44:9092 --consumer-property group.id=testGroup --topic test
多播消息
不同的消费组订阅同一个topic，那么不同的消费组中只有一个消费者能收到消息，实际上也是多个消费组中的多个消费者收到了同一个消息
./kafka-console-consumer.sh --bootstrap-server 10.10.6.44:9092 --consumer-property group.id=testGroup1--topic test
查看消费组及信息
#查看当前主题下有哪些消费组
./kafka-consumer-groups.sh --bootstrap-server 10.10.6.44:9092 --list
#查看消费组中的具体信息：比如当前偏移量、最后一条消息的偏移量、堆积的消息数量
./kafka-consumer-groups.sh --bootstrap-server 10.10.6.44:9092 --describe --group testGroup
重点关注一下几个信息
- current-offset:最后被消费的消息的偏移量
- Log-end-offset:消息总量（最后一条消息的偏移量）
- Lag:积压了多少条消息