Kafka基础知识总结笔记

《深入理解kafka核心设计与实践原理》 读书笔记

基本概念

producer
broker
consumer
topic
partition
segment

ISR-In-Sync Replica
OSR
HW

生产者

producer push模式

消费者

consumer/consumerGroup

主要参数配置

  • 生产者
    • zk
    • request.required.acks=-1(all),
    • producer.type=sync 同步发送,数据可靠性保证
  • 消费者
    • zk
  • broker
    • log.dirs:指定了broker需要使用的若干个文件目录路径
    • log.dir:单个路径,补充上一个参数
  • topic
    • auto.create.topics.enable:是否允许自动创建topic
    • unclean.leader.election.enable:是否允许Unclean Leader选举
    • auto.leader.rebalance.enable:是否允许定期进行Leader选举
    • log.retention.{hour|minutes|ms}:控制一条消息数据被保存多长时间,优先级ms最高、minutes次之、hour最低
    • log.retention.bytes:指定broker为消息保存的总磁盘容量大小,默认值为-1,保存多少数据都可以
    • message.max.bytes:控制broker能够接收的最大消息的大小,默认1000012,不到1KB,实际场景中需要设置一个比较大的值
  • jvm
    • KAFKA_HEAP_OPTS:指定堆大小
    • KAFKA_JVM_PREFORMANCE_OPTS:指定GC参数
    -Xmx8G -Xms8G -server -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true -Xloggc:/apps/service/kafka/logs/kafkaServer-gc.log -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCTimeStamps -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=9999
    
  • os
    • ulimit
    • swap
    • flush-2-disk

主题、分区

日志存储

可靠性

kafka数据可靠性深度解读

监控

常用监控指标

高级应用

参考资料

kafka原理和实践-vivo

你可能感兴趣的:(big-data)