【大数据高频问题】之Kafka

  • 创建多少个Topic 取决于满足多少个消费者
  • 磁盘空间设置多少合适呢(默认保存7天,每天数据量100G,2*100*7/0.7)
  • Kafka ISR,解决了什么问题,(延迟时间,在规定范围内)
  • Kafka 监控,
  • Kafka 里有多少分区 (3-10),分区多少有什么影响,会影响并发
  • Kafka 分区分配策略
  • Kafka 丢失数据,ACK, ack=0 (数据发送不等待应答),ack=1(取决于Leader),ack=-1(Leader 和Flower 同时应答)
  • Kafka 数据重复,大量数据积压,提高消费能力

【大数据高频问题】之Kafka_第1张图片

  • 数据重复
  • 【大数据高频问题】之Kafka_第2张图片
  • Kafka 参数优化:
    • Broker 优化
      • 【大数据高频问题】之Kafka_第3张图片
    • Producer 优化
      • 【大数据高频问题】之Kafka_第4张图片
    • Consumer 优化 
    • Kafka 内存调整 (默认1G)(Kafka-server-start.sh)(不能超过6G)
      • 【大数据高频问题】之Kafka_第5张图片
    • 【大数据高频问题】之Kafka_第6张图片
    • Kafka 中数据量大小
    • 【大数据高频问题】之Kafka_第7张图片
    •  

 

 

 

 

 

你可能感兴趣的:(kafka,大数据)