Kafka的传输机制

Kafka的topic主要分为partitions和replication-factor。

  • replication-factor主要是备份的问题,在MXNet的加速方案上我们可以暂时不考虑,即1即可。

  • partitions在不同kafka node,按照around去分布。这样可以加快读取。例如读取500条,可能在3个partitions上均匀分布能每台node读取167左右。

    待确认:

    • 顺序是有保证的?
    • producer给partitions是平衡的吗?
    • 已知producer可以指定partitions,要指定吗?

你可能感兴趣的:(Kafka的传输机制)