向Kakfa写入数据

ProducerRecord对象需要包含目标主题和要发送的内容。我们还可以指定键或者分区。在发送ProducerRecord对象时,生产者要先把键值对象序列化成字节数组。

创建kafka生产者

有三个必选的属性

  1. bootstrap.servers 指定broker的地址清单,地址的格式为host:port。
  2. key.serializer 必须被设置为一个实现了org.apache.kafka.common.serlization.serializer接口的类。生产者会用这个类把键对象序列化成字节数组 kafka默认提供了ByteArraySerializer、StringSerializer、IntegerSerializer
  3. value.serializer

下面的代码片段演示了如果创建一个新的生产者。

private Properties kafkaProps = new Properties();

kafpaProps.put("bootstrap.servers","broker1:9092,broker2:9092");

kafpaProps.put("key.serializer","org.apache.kafka.commom.serlization.StringSerializer");

kafpaProps.put("value.serializer","org.apache.kafka.commom.serlization.StringSerializer");

//创建一个新的生产者对象,并为键和值设置了恰当的类型,然后把Properties对象传给它。
producer=new KafkaProducer(kafkaProps);

发送消息主要有以下三种方式

  1. 发送并忘记
  2. 同步发送
  3. 异步发送

发送消息到kafka

//最简单的消息发送方式如下
ProducerRecord record = new ProducerRecord<>("CustomerCountry","Precision Products","France");

try{
    producer.send(record);
}catch(Execption e){
    e.printStackTrace();
}
  1. 同步发送消息
    producer.send()方法返回一个Future对象,然后调用Future的get()方法等待kafka响应,如果服务器返回错误,get()方法会抛出异常,如果没有发生错误,会得到一个RecordMetadata对象,可以用它获取消息的偏移量。
ProducerRecord record = new ProducerRecord<>("CustomerCountry","Precision Products","France");
try{
    producer.send(record).get();
}catch(Execption e){
    e.printStackTrace();
}

2.异步发送消息

private class DemoProducerCallback implements Callback{
    @Override
    public void onCompletion(RecordMetadata recordMetada,Exception e){
        if(e!=null){
            e.printStackTrace();
        }
    }
}

ProducerRecord record = new ProducerRecord<>("CustomerCountry","Precision Products","France");

prodecer.send(record,new DemoProducerCallback());

序列化器

  1. 自定义序列化器
  2. 使用AVRO序列化

你可能感兴趣的:(大数据学习内容,kafka,kafka生产者)