作用(用于消息中间件)
1.可以作为缓冲(流量消减)--防止高并发
2.分布式
3.解耦合
分片机制
简要介绍:
1.Kafka可以将主题划分为多个分区（Partition)
2.主要解决了单台服务器存储容量有限的问题
3.将消息均匀的分布到不同的分区中，这样实现了负载均衡.(提高读写效率)
生产者和消费者对分区的操作:
1.生产者和消费者可以多线程地并行操作,每一个线程处理的是一个分区的数据,所以分区实际上是调优Kafka并行度的最小单元.
2.生产者可以多线程同时向不同分区发送消息
3.消费者:同一个消费组内,一个分区可以被一个组中某一个成员消费,如果消费组中有多于分区数量的消费者，那么一定会有消费者无法消费数据。
4.一个topic分区越多，理论上整个集群所能达到的吞吐量就越大。但每个分区都有自己的资源占用开销，分区多了,副本也多了，资源占用同样也多了.
注意:kafka中的topic在消费时，整体上是无序的，而每个分区的内部消费是有顺序的，如果想要全局有序，可以设置一个分区，但是这样的话丢失了很多的性能。
如何合理的设置分区数:
一个topic分区的个数不是随意来来设置的，需要有些衡量的指标,可以使用如下方法进行测试：
(1)、创建只有一个分区数的topic
(2)、然后测试这个topic的producer和consumer吞吐量
(3)、假设它们的值分别为Tp和Tc,单位可以是MB/s
(4)、然后假设总的目标吞吐量是Tt，那么分区数= Tt / max(Tp, Tc)
注意：
Tp表示producer的吞吐量。测试producer通常是很容易的，因为它的逻辑非常简单，就是直接发送消息到Kafka就好了。Tp=10m/s
Tc表示consumer的吞吐量。测试Tc通常与应用的关系更大，因为Tc的值取决于你拿到消息之后执行什么操作，因此Tc的测试通常也要麻烦一些。Tc=5m/s总的目标吞吐量是Tt，可以理解为说业务数据每秒实际产生的数据量100M
副本机制:
副本备份机制解决了数据存储的高可用问题
容错原则例子:
假设有三个分片, 三个副本, 共计9个节点
在三台服务器上 各放置一个分片的副本
第二个副本放置在和这台服务器同机架上
第三个副本放置在不同的机架的服务器上
消息不丢失机制:
生产者端消息不丢失:
1） 消息生产分为同步模式和异步模式
2） 消息确认分为三个状态
a) 参数0：生产者只负责发送数据
b) 参数1：某个partition的leader收到数据给出响应
c) 参数-1：某个partition的所有副本都收到数据后给出响应
3） 在同步模式下
a) 生产者等待10S，如果broker没有给出ack响应，就认为失败。
b) 生产者重试3次，如果还没有响应，就报错。
4） 在异步模式下
a) 先将数据保存在生产者端的buffer中。Buffer大小是2万条。
b) 满足数据阈值或者数量阈值其中的一个条件就可以发送数据。
c) 发送一批数据的大小是500条。
注意:异步模式下,如果broker迟迟不给ack，而buffer又满了。开发者可以设置是否直接清空buffer中的数据。
broker端消息不丢失:
1.broker端的消息不丢失，其实就是用partition副本机制来保证。
2.Producer ack -1(all). 能够保证所有的副本都同步好了数据。其中一台机器挂了，并不影响数据的完整性。
消费端消息不丢失:
通过offset commit 来保证数据的不丢失，kafka自己记录了每次消费的offset数值，下次继续消费的时候，会接着上次的offset进行消费。
生产者数据分发策略:
1.用户指定partition
2. 当用户指定key，使用hash算法。如果key一直不变，同一个key算出来的hash值是个固定值。如果是固定值，这种hash取模就没有意义。
3.当用户既没有指定partition也没有key,使用轮询的方式发送数据。
消息的发布方式:
点对点的发布方式:只要保证所有接收这个topic的消费者都在同一组中
发布订阅方式:只要保证所有接收这个topic的消费者不属于同一组
面对数据量大,消费者消费慢的解决思路:
1.将同组中的消费者数量提高到这个topic分片的数量
2.若消费能力不足,可以将topic的分片数量扩大
3.通过硬件提高消防者处理能力