深入浅出理解kafka原理系列之:发送消息的缓冲区机制buffer.memory、batch.size、linger.ms

深入浅出理解kafka原理系列之:发送消息的缓冲区机制buffer.memory、batch.size、linger.ms

  • 一、buffer.memory
  • 二、batch.size
  • 三、linger.ms

  • kafka默认会创建一个消息缓冲区,用来存放要发送的消息,缓冲区是32M
  • kafka本地线程会去缓冲区中一次拉16k的数据,发送到broker
  • 如果线程拉不到16k的数据,间隔10ms也会将已拉到的数据发送到broker

一、buffer.memory

  • 设置发送消息的本地缓冲区,如果设置了该缓冲区,消息会先发送到本地缓冲区,可以提高消息发送性能。默认值是33554432,即32MB
props.put("buffer.memory", 33554432)

你可能感兴趣的:(日常分享专栏,Kafka,大数据,深入理解kafka原理,发送消息的缓冲区机制,buffer.memory,batch.size,linger.ms)