kafka-面试题

  • Kafka的用途有哪些?使用场景如何?
  1. 异步解耦
  2. 削峰降流
  3. 流式数据源
  • Kafka中的ISR、AR又代表什么?ISR的伸缩又指什么
    概念是在分区的副本里面,一个分区有leader副本,和其他多个副本。
    leader副本与其他副本之间需要同步,这个过程会有同步完成和未同步完成2个状态。 AR-代表所有的副本集。 ISR:代表已同步的副本集。 当一个follow副本与leader副本同步滞后或者失效是,会从ISR副本集移除。

  • Kafka中的HW、LEO、分别代表什么?
    kafka中每个消息都有offset,
    HW代表消费者可消费的offset位置。
    LEO:当前写入的最新消息的offset

  • Kafka中是怎么体现消息顺序性的?
    每个分区内消息是按offset排序。

  • Kafka中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?
    拦截器-》序列化器-》分区器
    序列化器:对msg的key、value进行序列化。
    拦截器: 生产者拦截器、消费者拦截器。主要处理一些预备工作。
    分区器: 如果没有指定分区,根据key计算消息发往的分区。

  • Kafka生产者客户端中使用了几个线程来处理?分别是什么?
    主线程、sender线程。 主线程主要完成消息的拦截器、序列化、分区器,并将消息存放到消息累加器。
    sender线程: 将消息发送到broker集群。 主要流程是将消息由分区转化为适合在网络上传输的数据格式,并将未返回成功的request保存到InflightLights。

  • “消费组中的消费者个数如果超过topic的分区,那么就会有消费者消费不到数据”这句话是否正确?如果正确,那么有没有什么hack的手段?
    正确, 可以通过设置partition.assignment.strategy分区分配策略。

  • 消费者提交消费位移时提交的是当前消费到的最新消息的offset还是offset+1?
    offset+1 ,表示的是下一条要拉取的消息。

  • 有哪些情形会造成重复消费?
    拉取一批消息【x,x+5】,消费逻辑处理完才提交offset,消费过程(x+3)出现异常,则下次继续从x拉取。
    消费者再均衡:再均衡是指的分区的所有权从一个消费者转移到另外一个消费者,如果之前的消费者还未来得及提交位移,则会造成重复消费。
    ps: 一般默认是自动提交,每隔5秒提交一次。

  • 那些情景下会造成消息漏消费?
    手动提交:拉取一批消息,立马提交offset,消费过程中出现异常。

  • KafkaConsumer是非线程安全的,那么怎么样实现多线程消费?
    一个消费者对应一个消费线程
    一个消费线程对应多个业务处理线程。

  • 简述消费者与消费组之间的关系
    一个消费者组有多个消费者,每个消费者对应一个或者多个分区。(消费者数量不超过分区数量的情况下)

  • 当你使用kafka-topics.sh创建(删除)了一个topic之后,Kafka背后会执行什么逻辑?
    根据分区数、副本因子,然后保证不同的分区副本在不同的broker中。

  • Kafka目前有哪些内部topic,它们都有什么特征?各自的作用又是什么?

  • 优先副本是什么?它有什么特殊的作用?
    对生产者与消费者提供读写服务。

  • Kafka有哪几处地方有分区分配的概念?简述大致的过程及原理。

  • 简述Kafka的日志目录结构
    一个topic对应对个分区文件夹,每个分区文件内有三类文件.log、offset索引文件、时间戳索引文件。 这三类文件明是以offset值命名。

  • Kafka中有那些索引文件?
    位移索引
    时间戳索引

  • 如果我指定了一个offset,Kafka怎么查找到对应的消息?
    先查找baseOffset找到对应的日志段,在对应的位移索引文件中通过二分查找,查找对应的offset的位移,找不到的话返回最近的位移区间,然后根据对应的物理地址到log日志段中查找对应的数据。

  • 如果我指定了一个timestamp,Kafka怎么查找到对应的消息?
    先在timestamp索引中查询offset,剩余过程同上。

  • 聊一聊你对Kafka的Log Retention的理解
    按照一定的保留策略直接删除不符合条件的日志分段。有三种策略基于时间的保留策略、基于日志大小的保留策略和基于日志起始偏移量的保留策略。

  • 聊一聊你对Kafka的Log Compaction的理解
    针对每个消息的 key 进行整合,对于有相同 key 的不同 value 值,只保留最后一个版本。

  • 聊一聊你对Kafka底层存储的理解(页缓存、内核层、块层、设备层)
    保存在磁盘,基于磁盘的顺序写。 采用页缓存、零拷贝技术。

  • 聊一聊Kafka的延时操作的原理
    延迟操作包括延迟拉取、延迟数据删除、延迟生产等。 每个延迟操作会被放到一个延迟操作管理器当中,每一个延迟操作管理器会配备一个定时器,定时器底层数据是基于时间轮实现。

  • 聊一聊Kafka控制器的作用
    它负责管理整个集群中所有分区和副本的状态。当某个分区的 leader 副本出现故障时,由控制器负责为该分区选举新的 leader 副本。当检测到某个分区的 ISR 集合发生变化时,由控制器负责通知所有broker更新其元数据信息。当使用 kafka-topics.sh 脚本为某个 topic 增加分区数量时,同样还是由控制器负责分区的重新分配。

  • 消费再均衡的原理是什么?(提示:消费者协调器和消费组协调器)

  • Kafka中的幂等是怎么实现的?

  • Kafka中的事务是怎么实现的?

  • Kafka中有那些地方需要选举?这些地方的选举策略又有哪些?

  • 失效副本是指什么?有那些应对措施?

  • 多副本下,各个副本中的HW和LEO的演变过程

  • 为什么Kafka不支持读写分离?

  • Kafka在可靠性方面做了哪些改进?(HW, LeaderEpoch)

  • Kafka中怎么实现死信队列和重试队列?

  • Kafka中的延迟队列怎么实现

  • Kafka中怎么做消息审计?

  • Kafka中怎么做消息轨迹?

  • Kafka有哪些指标需要着重关注?

  • 怎么计算Lag?(注意read_uncommitted和read_committed状态下的不同)

  • Kafka的那些设计让它有如此高的性能?

  • Kafka有什么优缺点?

  • 还用过什么同质类的其它产品,与Kafka相比有什么优缺点?

  • 为什么选择Kafka?
    在使用Kafka的过程中遇到过什么困难?怎么解决的?
    怎么样才能确保Kafka极大程度上的可靠性?
    聊一聊你对Kafka生态的理解

你可能感兴趣的:(kafka-面试题)