Kafka最全面试题整理

目录

一、开篇

二、kafka面试题以及答案整理

1、Kafka的用途有哪些?使用场景如何?

2、 Kafka中的ISR、AR又代表什么?ISR的伸缩又指什么

3、Kafka中的HW、LEO、LSO、LW等分别代表什么?

4、Kafka中是怎么体现消息顺序性的?具体的可参考这篇博文,https://www.cnblogs.com/windpoplar/p/10747696.html

5、Kafka中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?

6、Kafka生产者客户端的整体结构是什么样子的?关于这一部分可以参考:https://zhuanlan.zhihu.com/p/94412266

7、消费组中的消费者个数如果超过topic的分区,那么就会有消费者消费不到数据”这句话是否正确?如果不正确,那么有没有什么hack的手段?

8、消费者提交消费位移时提交的是当前消费到的最新消息的offset还是offset+1? 

9、有哪些情形会造成重复消费?

10、那些情景下会造成消息漏消费?

11、KafkaConsumer是非线程安全的,那么怎么样实现多线程消费?参考:https://blog.csdn.net/clypm/article/details/80618036

12、简述消费者与消费组之间的关系 

13、当你使用kafka-topics.sh创建(删除)了一个topic之后,Kafka背后会执行什么逻辑?

14、topic的分区数可不可以增加?如果可以怎么增加?如果不可以,那又是为什么?

15、topic的分区数可不可以减少?如果可以怎么减少?如果不可以,那又是为什么?

16、创建topic时如何选择合适的分区数?https://blog.csdn.net/weixin_42641909/article/details/89294698

17、Kafka目前有那些内部topic,它们都有什么特征?各自的作用又是什么? 

18、优先副本是什么?它有什么特殊的作用?

19、Kafka有哪几处地方有分区分配的概念?简述大致的过程及原理。参考:https://blog.csdn.net/weixin_42641909/article/details/89294698

20、简述Kafka的日志目录结构。Kafka中有那些索引文件? 参考:https://zhuanlan.zhihu.com/p/94412266

21、如果我指定了一个offset,Kafka怎么查找到对应的消息?参考:https://blog.csdn.net/moakun/article/details/101855315

22、 如果我指定了一个timestamp,Kafka怎么查找到对应的消息?

23、kafka过期数据清理

24、Kafka中的幂等是怎么实现的

25、kafka事务。分享一篇大佬讲kafka事务的博客,这一篇讲的更深入:http://matt33.com/2018/11/04/kafka-transaction/

26、 Kafka中有那些地方需要选举?这些地方的选举策略又有哪些?参考:https://blog.csdn.net/u013256816/article/details/89369160

27、Kafka中的延迟队列怎么实现?参考:https://blog.csdn.net/u013256816/article/details/80697456

28、kafka实现高吞吐,参考:https://blog.csdn.net/qq_39429714/article/details/84879543 


一、开篇

我最近在看kafka的面试题,有我自己在网上找的题目,但是有的面试题挺好的,但是没有答案,发现有一篇很好的博文再讲面试题,但是没有答案,所以我在这边整理一下,博主的博文地址:https://blog.csdn.net/u013256816/article/details/88550812,大家可以去参考这篇原博文,下面是本人整理的答案,供大家参考,有什么错误请指出,谢谢!

二、kafka面试题以及答案整理

1、Kafka的用途有哪些?使用场景如何?

1、日志收集:一个公司可以用Kafka可以收集各种服务的log,通过kafka以统一接口服务的方式开放给各种consumer,例如Hadoop、Hbase、Solr等
2、消息系统:解耦和生产者和消费者、缓存消息等
3、用户活动跟踪:Kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索、点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后订阅者通过订阅这些topic来做实时的监控分析,或者装载到Hadoop、数据仓库中做离线分析和挖掘
4、运营指标:Kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据,生产各种操作的集中反馈,比如报警和报告
5、流式处理:比如spark streaming和storm
6、事件源

2、 Kafka中的ISR、AR又代表什么?ISR的伸缩又指什么

1、分区中的所有副本统称为AR(Assigned Repllicas)。所有与leader副本保持一定程度同步的副本(包括Leader)组成ISR(In-Sync Replicas),ISR集合是AR集合中的一个子集。与leader副本同步滞后过多的副本(不包括leader)副本,组成OSR(Out-Sync Relipcas),由此可见:AR=ISR+OSR。
2、ISR集合的副本必须满足:
      副本所在节点必须维持着与zookeeper的连接;
      副本最后一条消息的offset与leader副本最后一条消息的offset之间的差值不能超出指定的阈值
3、每个分区的leader副本都会维护此分区的ISR集合,写请求首先由leader副本处理,之后follower副本会从leader副本上拉取写入的消息,这个过程会有一定的延迟,导致follower副本中保存的消息略少于leader副本,只要未超出阈值都是可以容忍的
4、ISR的伸缩指的是Kafka在启动的时候会开启两个与ISR相关的定时任务,名称分别为“isr-expiration"和”isr-change-propagation".。isr-expiration任务会周期性的检测每个分区是否需要缩减其ISR集合。

3、Kafka中的HW、LEO、LSO、LW等分别代表什么?

1、HW是High Watermak的缩写,俗称高水位,它表示了一个特定消息的偏移量(offset),消费之只能拉取到这个offset之前的消息。
2、LEO是Log End Offset的缩写,它表示了当前日志文件中下一条待写入消息的offset。
3、LSO特指LastStableOffset。它具体与kafka的事物有关。消费端参数——isolation.level,这个参数用来配置消费者事务的隔离级别。字符串类型,“read_uncommitted”和“read_committed”。
4、 LW是Low Watermark的缩写,俗称“低水位”,代表AR集合中最小的logStartOffset值,副本的拉取请求(FetchRequest)和删除请求(DeleteRecordRequest)都可能促使LW的增长。 

4、Kafka中是怎么体现消息顺序性的?具体的可参考这篇博文,https://www.cnblogs.com/windpoplar/p/10747696.html

1、一个 topic,一个 partition,一个 consumer,内部单线程消费,单线程吞吐量太低,一般不会用这个。
2、写 N 个内存 queue,具有相同 key 的数据都到同一个内存 queue;然后对于 N 个线程,每个线程分别消费一个内存 queue 即可,这样就能保证顺序性。

5、Kafka中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?

拦截器 -> 序列化器 -> 分区器

补充:Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端的定制化控制逻辑。producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Intercetpor的实现接口是org.apache.kafka.clients.producer.ProducerInterceptor。实现下面四个方法

     1)、configure(configs):获取配置信息和初始化数据时调用

     2)、onSend(ProducerRecord):用户可以在该方法中对消息做任何操作,但最好保证不要修改消息所属的topic和分                                                                区,否则会影响目标分区的计算

     3)、onAcknowledgement(RecordMetadata, Exception):该方法会在消息被应答或消息发送失败时调用

     4)、close:关闭interceptor,主要用于执行一些资源清理工作

6、Kafka生产者客户端的整体结构是什么样子的?关于这一部分可以参考:https://zhuanlan.zhihu.com/p/94412266

Kafka最全面试题整理_第1张图片

7、消费组中的消费者个数如果超过topic的分区,那么就会有消费者消费不到数据”这句话是否正确?如果不正确,那么有没有什么hack的手段?

不正确,通过自定义分区分配策略,可以将一个consumer指定消费所有partition。

8、消费者提交消费位移时提交的是当前消费到的最新消息的offset还是offset+1? 

offset+1 

9、有哪些情形会造成重复消费?

消费者消费后没有commit offset(程序崩溃/强行kill/消费耗时/自动提交偏移情况下unscrible)  

10、那些情景下会造成消息漏消费?

先提交offset,后消费,有可能造成数据的重复 

11、KafkaConsumer是非线程安全的,那么怎么样实现多线程消费?参考:https://blog.csdn.net/clypm/article/details/80618036

1 、每个线程维护一个KafkaConsumer
2 、维护一个或多个KafkaConsumer,同时维护多个事件处理线程(worker thread) 

12、简述消费者与消费组之间的关系 

消费者从属与消费组,消费偏移以消费组为单位。每个消费组可以独立消费主题的所有数据,同一消费组内消费者共同消费主题数据,每个分区只能被同一消费组内一个消费者消费。 

13、当你使用kafka-topics.sh创建(删除)了一个topic之后,Kafka背后会执行什么逻辑?

1)会在zookeeper中的/brokers/topics节点下创建一个新的topic节点,如:/brokers/topics/first
2)触发Controller的监听程序
3)kafka Controller 负责topic的创建工作,并更新metadata cache

14、topic的分区数可不可以增加?如果可以怎么增加?如果不可以,那又是为什么?

可以增加 

bin/kafka-topics.sh --zookeeper localhost:2181/kafka --alter --topic topic-config --partitions 3

15、topic的分区数可不可以减少?如果可以怎么减少?如果不可以,那又是为什么?

不可以减少,被删除的分区数据难以处理。 

16、创建topic时如何选择合适的分区数?https://blog.csdn.net/weixin_42641909/article/details/89294698

1)创建一个只有1个分区的topic

2)测试这个topic的producer吞吐量和consumer吞吐量。

3)假设他们的值分别是Tp和Tc,单位可以是MB/s。

4)然后假设总的目标吞吐量是Tt,那么分区数=Tt / max(Tp,Tc)

例如:producer吞吐量=5m/s;consumer吞吐量=50m/s,期望吞吐量100m/s

分区数=100 / 50 =2分区

分区数一般设置为:3-10个 

17、Kafka目前有那些内部topic,它们都有什么特征?各自的作用又是什么? 

consumer_offsets 以下划线开头,保存消费组的偏移

18、优先副本是什么?它有什么特殊的作用?

优先副本 会是默认的leader副本 发生leader变化时重选举会优先选择优先副本作为leader 

19、Kafka有哪几处地方有分区分配的概念?简述大致的过程及原理。参考:https://blog.csdn.net/weixin_42641909/article/details/89294698

Kafka提供的两种分配策略: range和roundrobin,由参数partition.assignment.strategy指定,默认是range策略。

当以下事件发生时,Kafka 将会进行一次分区分配:

  • 同一个 Consumer Group 内新增消费者
  • 消费者离开当前所属的Consumer Group,包括shuts down 或 crashes
  • 订阅的主题新增分区

1)Range strategy

Range策略是对每个主题而言的,首先对同一个主题里面的分区按照序号进行排序,并对消费者按照字母顺序进行排序。

2) RoundRobin strategy

使用RoundRobin策略有两个前提条件必须满足:

  • 同一个Consumer Group里面的所有消费者的num.streams必须相等;
  • 每个消费者订阅的主题必须相同。

所以这里假设前面提到的2个消费者的num.streams = 2。

RoundRobin策略的工作原理:将所有主题的分区组成 TopicAndPartition 列表,然后对 TopicAndPartition 列表按照 hashCode 进行排序 

20、简述Kafka的日志目录结构。Kafka中有那些索引文件? 参考:https://zhuanlan.zhihu.com/p/94412266

每个分区对应一个文件夹,文件夹的命名为topic-0,topic-1,内部为.log和.index文件 

以及 .timeindex leader-epoch-checkpoint

21、如果我指定了一个offset,Kafka怎么查找到对应的消息?参考:https://blog.csdn.net/moakun/article/details/101855315

1.通过文件名前缀数字x找到该绝对offset 对应消息所在文件
2.offset-x为在文件中的相对偏移
3.通过index文件中记录的索引找到最近的消息的位置
4.从最近位置开始逐条寻找

22、 如果我指定了一个timestamp,Kafka怎么查找到对应的消息?

参考:https://blog.csdn.net/moakun/article/details/101855315

原理同上 但是时间的因为消息体中不带有时间戳 所以不精确

23、kafka过期数据清理

日志清理保存的策略只有delete和compact两种

log.cleanup.policy=delete启用删除策略

log.cleanup.policy=compact启用压缩策略

24、Kafka中的幂等是怎么实现的

Producer的幂等性指的是当发送同一条消息时,数据在Server端只会被持久化一次,数据不丟不重,但是这里的幂等性是有条件的:

1)只能保证Producer在单个会话内不丟不重,如果Producer出现意外挂掉再重启是无法保证的(幂等性情况下,是无法获取之前的状态信息,因此是无法做到跨会话级别的不丢不重)。

2)幂等性不能跨多个Topic-Partition,只能保证单个Partition内的幂等性,当涉及多个 Topic-Partition时,这中间的状态并没有同步。

25、kafka事务。分享一篇大佬讲kafka事务的博客,这一篇讲的更深入:http://matt33.com/2018/11/04/kafka-transaction/

同时分享一下这两篇博文,感觉这篇博文讲的更容易理解一些,面试我感觉看这两篇就够了:https://www.jianshu.com/p/64c93065473e,https://www.cnblogs.com/middleware/p/9477133.html

Kafka从0.11版本开始引入了事务支持。事务可以保证Kafka在Exactly Once语义的基础上,生产和消费可以跨分区和会话,要么全部成功,要么全部失败。

1)Producer事务

为了实现跨分区跨会话的事务,需要引入一个全局唯一的Transaction ID,并将Producer获得的PID和Transaction ID绑定。这样当Producer重启后就可以通过正在进行的Transaction ID获得原来的PID。

为了管理Transaction,Kafka引入了一个新的组件Transaction Coordinator。Producer就是通过和Transaction Coordinator交互获得Transaction ID对应的任务状态。Transaction Coordinator还负责将事务所有写入Kafka的一个内部Topic,这样即使整个服务重启,由于事务状态得到保存,进行中的事务状态可以得到恢复,从而继续进行。

2)Consumer事务 

上述事务机制主要是从Producer方面考虑,对于Consumer而言,事务的保证就会相对较弱,尤其时无法保证Commit的信息被精确消费。这是由于Consumer可以通过offset访问任意信息,而且不同的Segment File生命周期不同,同一事务的消息可能会出现重启后被删除的情况。 

26、 Kafka中有那些地方需要选举?这些地方的选举策略又有哪些?参考:https://blog.csdn.net/u013256816/article/details/89369160

控制器的选举

  • Kafka Controller的选举是依赖Zookeeper来实现的,在Kafka集群中哪个broker能够成功创建/controller这个临时(EPHEMERAL)节点他就可以成为Kafka Controller。

分区leader的选举

  • https://www.jianshu.com/p/1f02328a4f2e

消费者相关的选举

  • 组协调器GroupCoordinator需要为消费组内的消费者选举出一个消费组的leader,这个选举的算法也很简单,分两种情况分析。如果消费组内还没有leader,那么第一个加入消费组的消费者即为消费组的leader。如果某一时刻leader消费者由于某些原因退出了消费组,那么会重新选举一个新的leader。

27、Kafka中的延迟队列怎么实现?参考:https://blog.csdn.net/u013256816/article/details/80697456

Kafka中存在大量的延迟操作,比如延迟生产、延迟拉取以及延迟删除等。Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能,而是基于时间轮自定义了一个用于实现延迟功能的定时器(SystemTimer)。JDK的Timer和DelayQueue插入和删除操作的平均时间复杂度为O(nlog(n)),并不能满足Kafka的高性能要求,而基于时间轮可以将插入和删除操作的时间复杂度都降为O(1)。Kafka中的时间轮(TimingWheel)是一个存储定时任务的环形队列,底层采用数组实现,数组中的每个元素可以存放一个定时任务列表(TimerTaskList)。TimerTaskList是一个环形的双向链表,链表中的每一项表示的都是定时任务项(TimerTaskEntry),其中封装了真正的定时任务TimerTask。时间轮由多个时间格组成,每个时间格代表当前时间轮的基本时间跨度(tickMs)。时间轮的时间格个数是固定的,可用wheelSize来表示,那么整个时间轮的总体时间跨度(interval)可以通过公式 tickMs × wheelSize计算得出。

28、kafka实现高吞吐,参考:https://blog.csdn.net/qq_39429714/article/details/84879543 

你可能感兴趣的:(kafka)