【Kafka官方文档翻译】5.4.4. 生产者

原文地址:https://kafka.apache.org/0101/documentation.html#theproducer

负载均衡

生产者之间发送数据到主分区的服务器上,不需要经过任何中间路由。为了让生产者实现这个功能,所有的 kafka 服务器节点都能响应这样的元数据请求:哪些服务器是活着的,主题的哪些分区是主分区,分配在哪个服务器上,这样生产者就能适当地直接发送它的请求到服务器上。
  客户端控制消息发送数据到哪个分区,这个可以实现随机的负载均衡方式。或者使用一些特定语义的分区函数,我们有提供特定分区的接口让用于根据指定的键值进行hash分区(当然也有选项可以重写分区函数),例如,如果键值使用用户ID,则用户相关的所有数据都会被分发到同一个分区上。这允许消费者,在消费数据时做一些特定的本地化处理。这样的分区风格经常被设计用于一些本地处理比较敏感的消费者。

异步发送

批处理是提升性能的一个主要驱动,为了允许批量处理,kafka 生产者会尝试在内存中汇总数据,并用一次请求批次提交信息。批处理,不仅仅可以配置指定的消息数量,也可以指定等待特定的延迟时间(如64k 或10ms),这允许汇总更多的数据后再发送,在服务器端也会减少更多的IO操作。该缓冲是可配置的,并给出了一个机制,通过权衡少量额外的延迟时间获取更好的吞吐量。
  更多的细节信息可以在生产者的 configuration 和 api 这里找到.

你可能感兴趣的:(【Kafka官方文档翻译】5.4.4. 生产者)