Kafka压力测试

Kafka压力测试

测试脚本

kafka-producer-perf-test.sh --topic test-1 --num-records 100000 --record-size 1000  --throughput 2000 --producer-props bootstrap.servers=192.168.21.100:9092,192.168.21.101:9092,192.168.21.102:9092
参数解析：
--topic topic名称，本例为test-1
--num-records 总共需要发送的消息数，本例为100000
--record-size 每个记录的字节数，本例为1000
--throughput 吞吐量即每秒钟发送的记录数，本例为2000，内存大可以设置大点
--producer-props bootstrap.servers= 192.168.21.100:9092,192.168.21.101:9092,192.168.21.102:9092

生产写入测试

bin/kafka-producer-perf-test.sh --topic test-1 --num-records 100000 --record-size 1000  --throughput 2000 --producer-props bootstrap.servers=192.168.21.100:9092,192.168.21.101:9092,192.168.21.102:9092

测试结果

发送100000条记录，1266.849093条记录/秒（1.21 MB/秒），平均17894.55 ms延迟，最大33725.00 ms延迟，第50位13539 ms，第95位32643 ms，第99位33074 ms

消费测试

bin/kafka-consumer-perf-test.sh --broker-list 192.168.21.100:9092,192.168.21.101:9092,192.168.21.102:9092 --topic test-1 --fetch-size 1048576 --messages 100000 --threads 1 --timeout 100000

测试结果

耗时16s，总消费95.7689MB，平均每秒消费5.8399MB/s，总消费100421条，平均每秒消费6123.6051条