kafka-0.10版本单机性能测试

linux下的搭建方式

1.下载kafka_2.10-0.10.0.0安装kafka 

2.我用的的Java1.7.0_51

3.启动zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties & 

4.启动kafka的server

bin/kafka-server-start.sh config/server.properties & 

5.创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 

6.查看topic

bin/kafka-topics.sh --list --zookeeper localhost:2181   

7.向test的topic发送数据

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

hello kafka

8.启动consumer

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

window7下环境搭建

1.安装zookeeper

参考http://www.jianshu.com/p/f7037105db46

2.确保jdk安装

3.启动zookeeper  

.\bin\windows\zookeeper-server-start.bat config/zookeeper.properties

4.启动kafka参考http://www.jianshu.com/p/64d25dcf8300

.\bin\windows\kafka-server-start.bat .\config\server.properties

5.查看topic的详细信息

 bin/kafka-topics.bat --describe --zookeeper localhost:2181 --topic test

测试：

参考 http://www.cnblogs.com/wangb0402/p/6221626.html

1.生产者测试

kafka-producer-perf-test.bat --num-records 1000000 --topic test --record-size 200 --throughput 100000 --producer-props bootstrap.servers=localhost:9092

--num-records 发送消息的数量

--topic 主题

-- record-size 单条消息的大小字节

--throughput 吞储量阀值 10万 就是每秒不超过10万条数据

--producer-props producer的配置，可以写多个配置用逗号隔开

2.消费者测试

kafka-consumer-perf-test.bat --messages 1000000 --threads 1 --zookeeper localhost:2181 --num-fetch-threads 3 --topic test

--messages 消费多少消息

--threads 线程数量

--zookeeper zookeeper的地址

--num-fetch-threads 拉取数据的线程数量 即为消费者的数量

5400转的笔记本硬盘：50-90MB每秒

7200转的台式机硬盘：90-190MB每秒