kafka（04）——kafka的使用

kafka命令行的使用

通过命令行来创建一个topic
cd /export/servers/kafka_2.11-1.0.0/

bin/kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper node01:2181,node02:2181,node03:2181

kafka通过控制台模拟发送数据：
cd /export/servers/kafka_2.11-1.0.0/

bin/kafka-console-producer.sh --broker-list  node01:9092,node02:9092,node03:9092 --topic test

kafka通过控制台模拟消费数据
cd /export/servers/kafka_2.11-1.0.0/

bin/kafka-console-consumer.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --from-beginning --topic test

kafka的javaAPI的使用

导入jar包

 
     org.apache.kafka
     kafka-clients
     1.0.0

开发kafka生产者

public class MyKafkaProducer  {
    public static void main(String[] args) {
        Properties props = new Properties();
        //指定我们kafka服务器的所有的broker位置
        props.put("bootstrap.servers", "node01:9092,node02:9092,node03:9092");
        // kafka的一个消息的确认机制
        props.put("acks", "all");
        //如果出现发送数据异常，重试多少次
        props.put("retries", 0);
        // 多少条数据一起发送一次
        props.put("batch.size", 16384);
        props.put("linger.ms", 1);
        //缓冲区的大小，pageCache的缓冲区大小
        props.put("buffer.memory", 10240000);
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

        //使用kafkaPrdoucer来进行数据的发送
        Producer producer = new KafkaProducer(props);
        for (int i = 0; i < 100; i++){
            //kakfaproducer调用send方法，将我们的数据发送到kafka集群当中去，需要一个producerRecord的参数
            producer.send(new ProducerRecord("test", Integer.toString(i), Integer.toString(i)));

        }
        //关闭我们的数据发送的客户端
        producer.close();
    }

}

开发消费者

public class MyKafkaConsumer  {
    public static void main(String[] args) {
        //配置属性
        Properties props = new Properties();
        props.put("bootstrap.servers", "node01:9092,node02:9092,node03:9092");
        //kafka消费的组，这个一定要给
        props.put("group.id", "test");
        //自动提交offset，偏移量，消息消费到了哪里，都记录在这个offset里面了
        props.put("enable.auto.commit", "true");
        //自动提交的时间频率
        props.put("auto.commit.interval.ms", "1000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        //所有的消费都是通过kafkaConsumer来实现的
        KafkaConsumer consumer = new KafkaConsumer(props);
        //订阅我们的topic是哪些
        consumer.subscribe(Arrays.asList("test"));
        while (true) {
            //消费者调用poll方法，将数据主动拉取过来
            ConsumerRecords records = consumer.poll(100);//不是叫做pull
            //循环遍历ConsumerRecords  得到一个个的consumerRecord，consumerRecord里面记录了我们的所有的数据信息，包括我们数据的key，数据的value，数据的offset等等

            for (ConsumerRecord record : records)
                System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
        }
    }
}

kafka分区策略

第一种分区策略：直接指定分区号，那么我们的数据就会到我们指定的分区里面去

producer.send(new ProducerRecord("test", 1,Integer.toString(i), Integer.toString(i)));

第二种分区策略：如果没有给定分区号，通过key的hash取值进行分区，只不过key一定不要写死了，一定要是变动的，保证数据均匀的发送到每一个分区里面去

producer.send(new ProducerRecord("test", UUID.randomUUID().toString(), Integer.toString(i)));

第三种分区策略 ：没有给定分区号，也没有给key值，使用轮循的方式将数据均匀的发送到每一个分区里面去

producer.send(new ProducerRecord("test",  Integer.toString(i)));

第四种分区策略：自定义分区

main方法中添加配置

props.put("partitioner.class","com.fgm.kafka.producer.OwnPartitioner");

自定义我们的分区类

public class OwnPartitioner implements Partitioner {
    /**
     * partition 这个方法，返回的是一个int类型的值，我们的数据去往哪个分区主要由这个方法决定
     */
    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        return 2;
    }

    @Override
    public void close() {
    }

    @Override
    public void configure(Map configs) {
    }
}