Spring 初探（5） kafka

阅读更多

前期测试准备:
zookeeper安装，kafka安装
kafka:
1.启动：
kafka-server-start.bat ./../../config/server.properties
2.创建topic
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic demo
3.创建producer
kafka-console-producer.bat --broker-list localhost:9092 --topic demo
4.创建consumer
kafka-console-consumer.bat --zookeeper localhost:2181 --topic demo
此步创建完后，producer发消息，consumer就可以看到了
5.查看kafka topic
kafka-list-topic.bat --zookeeper localhost:2181
代码部分：
1.在项目中pom.xml添加

   
        org.apache.kafka
        kafka_2.11
        0.11.0.1
   

2.代码如例子中。
生产者代码:
Properties props = new Properties();   props.load(DemoKafkaProducer.class.getClassLoader().getResourceAsStream("producer.properties"));    
Producer producer = new KafkaProducer(props,new StringSerializer(),new StringSerializer());
        while(true) {
            ProducerRecord record = new ProducerRecord("demo", "DemoKafkaProducer", "I am a message form DemoKafkaProducer!");
            producer.send(record, new Callback() {
                public void onCompletion(RecordMetadata recordMetadata, Exception e) {
                    if (e != null) {
                        e.printStackTrace();
                    } else {
                        System.out.println(recordMetadata.offset());
                     }
                }
            });

消费者关键代码：
KafkaConsumer consumer = new KafkaConsumer(props, new StringDeserializer(), new StringDeserializer());
consumer.subscribe(Arrays.asList("demo"));
ConsumerRecords records = consumer.poll(100);
3.启动，程序成功。

其他问题:
Q1：如果kafka服务器不可用，生产者和消费者现象？
A：kafka服务器不可用时，生产者和消费者都可以启动，生产者发送数据时报错，但是获取错误信息大约1分钟。消费者则在 consumer.poll(100)阻塞。当kafka可用时，不用重新启动代码，直接使用即可，消费者可以获取到信息

git地址：https://github.com/leaf-it/demo-kafka

发现一个比较好的kafka网站：http://orchome.com/