Kafka调优（30%）

1、生产者如何提高吞吐量

默认情况下，一次拉一个，来了就走
    设置参数：
        batch.size：批次大小，默认16k，可调整为32k
        linger.ms：等待时间，修改为5-100ms
        compression.type：压缩snappy
        RecordAccumulator：缓冲区大小，修改为64M

2、Kafka硬件配置选择

1）场景说明

2）服务器台数选择

服务器台数 = 2 * (生产者峰值生产速率 * 副本数 / 100) + 1

3）磁盘选择

kafka顺序读写：选择机械硬盘（机械、固态均为顺序读写，且固态贵）
1 亿条数据 * 1k/条 = 100g
100g * 2个副本 * 3天 * 0 .7 = 1t
建议总磁盘大小 大于 1t

4）内存选择

kafka 内存 = 堆内存(kafka内部配置) + 页缓存(服务器内存)

5）cpu选择

6）网络选择

3、Kafka生产者

1）核心参数配置

2）数据可靠性

3）数据去重

幂等性

4）数据有序

分区内有序，分区间无序

5）数据乱序