Linux下安装Kafka及SpringBoot集成
一、安装JDK
官网下载好后直接解压
tar -zxvf jdk-8u261-linux-x64.tar.gz
配置环境变量:
vim /etc/profile
JAVA_HOME=/home/huangxiaojuan/soft/java/jdk1.8.0_144(这里是你jdk的位置）
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
检查环境：
java -version
二、安装zookeeper
官网下载.或者
wegt https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz
##解压
tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz
一定注意下载的时候3.5.5以后的版本下载带bin的是编译过的！！！
进入conf目录下执行一下命令
cp zoo_sample.cfg zoo.cfg
编辑zoo.cfg文件，修改一下内容
dataDir=/tmp/zookeeper/data
dataLogDir=/tmp/zookeeper/log
./zkServer.sh start##启动
./zkServer.sh status##查看
三、安装Kafka
topic
kafka 把收到的消息按 topic 进行分类，因此可以理解为 topic 是一种类别
producer
往 kafka 发送消息的用户
consumer
接收 kafka 消息的用户
borker
kafka 集群可以由多个 kafka 实例组成，每个实例（server）称为 broker
无论是 kafka broker 本身，还是 producer 或者 consumer，都依赖于 zookeeper 集群保存一些 meta 信息，保证系统可用性，以及使用 zookeeper 的选举机制。**
官网下载
选择:Binary downloads是编译过的
解压：
tar -zxvf kafka_2.13-2.6.0.tgz
进入bin目录下
##如果没有下载zookeeper可以用自带的zookeeper 同样守护线程启动
./zookeeper-server-start.sh -daemon config/zookeeper.properties
##守护线程 如果没有-daemon 是阻塞线程
./kafka-server-start.sh -daemon config/server.properties
进入cofing下
将service.properties文件下的这行代码放开注释
advertised.listeners=PLAINTEXT://这是修改的IP:9092
测试
##创建生产者及创建topic
sh bin/kafka-topics.sh --zookeeper localhost:2181 --create --replication-factor 1 --partitions 1 --topic qhotin
##启动后可测试发送消息
>hello Kafka
##启动消费者
sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic qhotin --from-beginning
hello Kafka
–create 创建
–topic 指定 topic 名
–replication-factor 定义副本数
–partitions 定义分区数
Spring Boot集成Kafka
添加依赖
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
</dependency>
配置文件yml
server:
port: 8008
##zk地址
spring:
kafka:
bootstrap-servers: IP地址:9092
producer:
# 发生错误后，消息重发的次数。
retries: 0
#当有多个消息需要被发送到同一个分区时，生产者会把它们放在同一个批次里。该参数指定了一个批次可以使用的内存大小，按照字节数计算。
batch-size: 16384
# 设置生产者内存缓冲区的大小。
buffer-memory: 33554432
# 键的序列化方式
key-serializer: org.apache.kafka.common.serialization.StringSerializer
# 值的序列化方式
value-serializer: org.apache.kafka.common.serialization.StringSerializer
# acks=0 ： 生产者在成功写入消息之前不会等待任何来自服务器的响应。
# acks=1 ： 只要集群的首领节点收到消息，生产者就会收到一个来自服务器成功响应。
# acks=all ：只有当所有参与复制的节点全部收到消息时，生产者才会收到一个来自服务器的成功响应。
acks: 1
consumer:
# 自动提交的时间间隔 在spring boot 2.X 版本中这里采用的是值的类型为Duration 需要符合特定的格式，如1S,1M,2H,5D
auto-commit-interval: 1S
# 该属性指定了消费者在读取一个没有偏移量的分区或者偏移量无效的情况下该作何处理：
# latest（默认值）在偏移量无效的情况下，消费者将从最新的记录开始读取数据（在消费者启动之后生成的记录）
# earliest ：在偏移量无效的情况下，消费者将从起始位置读取分区的记录
auto-offset-reset: earliest
# 是否自动提交偏移量，默认值是true,为了避免出现重复数据和数据丢失，可以把它设置为false,然后手动提交偏移量
enable-auto-commit: false
# 键的反序列化方式
key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
# 值的反序列化方式
value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
group-id: test-consumer-group
listener:
# 在侦听器容器中运行的线程数。
concurrency: 5
#listner负责ack，每调用一次，就立即commit
ack-mode: manual_immediate
missing-topics-fatal: false
@Component
public class KafkaConsumer {
// 消费监听 qhotin是执行命令下创建好的topic
@KafkaListener(topics = {"qhotin"})
public void onMessage1(ConsumerRecord<?, ?> record){
// 消费的哪个topic、partition的消息,打印出消息内容
System.out.println("简单消费："+record.topic()+"-"+record.partition()+"-"+record.value());
}
}
@RestController
public class KafkaProducer {
@Autowired
private KafkaTemplate<String, Object> kafkaTemplate;
// 发送消息
@GetMapping("/kafka/normal/{message}")
public void sendMessage1(@PathVariable("message") String normalMessage){
kafkaTemplate.send("qhotin", normalMessage);
}
}
PostMan测试:
结果
