SpringBoot对接kafka,批量、并发、异步获取消息,并动态、批量插入库表
SpringBoot对接kafka,批量、并发、异步获取消息,并动态、批量插入库表
更多优秀文章，请扫码关注个人微信公众号或搜索“程序猿小杨”添加。
一、背景
因业务发展需要，需要对接kafka，快速批量接收消息日志，避免消息日志累积过多，必须做到数据处理后，动态插入到库表(相同表结构，不同表名)下，并且还要支持批量事务提交,实现消息快速消费。(注意：源码文章最后有获取方式)
二、核心代码
2.1、开启批量、并发消费
kafka:
bootstrap-servers: 10.1.*.*:9092 #服务器的ip及端口，可以写多个，服务器之间用“：”间隔
producer: #生产者配置
key-serializer: org.apache.kafka.common.serialization.StringSerializer
value-serializer: org.apache.kafka.common.serialization.StringSerializer
consumer: #消费者配置
#指定默认消费者group id --> 由于在kafka中，同一组中的consumer不会读取到同一个消息，依靠groud.id设置组名
group-id: myGroup #设置消费者的组id default：Group
enable-auto-commit: true #设置自动提交offset
auto-commit-interval: 2000 #默认值为5000
key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
#值的反序列化方式
value-serializer: org.apache.kafka.common.serialization.StringSerializer
auto-offset-reset: latest
max-poll-records: 2000 #批量一次最大拉取数据量 默认500
listener:
# poll-timeout: 1000
type: batch # 开启批量消费
concurrency: 3 #指定listener 容器中的线程数，用于提高并发量
properties:
session:
timeout:
ms: 120000 #默认10000
max:
poll:
interval:
ms: 600000 #默认300000(5分钟)
说明：type: batch # 开启批量消费， max-poll-records: 2000，批量消费每次最多消费记录数。这里设置 max-poll-records是2000，并不是说如果没有达到2000条消息，我们就一直等待。而是说一次poll最多返回的记录数为2000。concurrency: 3 #指定listener 容器中的线程数，用于提高并发量。注意：并发量根据实际分区数决定，必须小于等于分区数，否则会有线程一直处于空闲状态。例如:设置concurrency为3，也就是将会启动3条线程进行监听，而要监听的topic有5个partition，意味着将有2条线程都是分配到2个partition，还有1条线程分配到1个partition。
2.2、多线程异步配置
具体配置参加前面文章：SpringBoot使用@Async实现多线程异步
注意：在启动类上需要加上注解@EnableAsync，开启异步。
2.3、redis相关配置
1、yml相关配置：
spring:
redis:
# 地址
host: 127.0.0.1
# 端口，默认为6379
port: 6379
# 密码
# 连接超时时间
timeout: 10s
lettuce:
pool:
# 连接池中的最小空闲连接
min-idle: 0
# 连接池中的最大空闲连接
max-idle: 8
# 连接池的最大数据库连接数
max-active: 8
# #连接池最大阻塞等待时间（使用负值表示没有限制）
max-wait: -1ms2、RedisConfig配置
package com.wonders.config;
import com.fasterxml.jackson.annotation.JsonAutoDetect;
import com.fasterxml.jackson.annotation.PropertyAccessor;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.springframework.cache.annotation.CachingConfigurerSupport;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;
/**
* 〈自定义redis序列化方式〉
* @author yangyalin
* @create 2018/11/1
* @since 1.0.0
*/
@Configuration
public class RedisConfig extends CachingConfigurerSupport {
/**
* @Author yangyalin
* @Description redisTemplate序列化使用的jdkSerializeable, 存储二进制字节码（默认）, 所以自定义序列化类
* 用于存储可视化内容
* @Date 15:07 2018/11/1
* @Param [redisConnectionFactory]
* @return org.springframework.data.redis.core.RedisTemplate
**/
@Bean
public RedisTemplate redisTemplate(RedisConnectionFactory redisConnectionFactory){
RedisTemplate redisTemplate=new RedisTemplate();
redisTemplate.setConnectionFactory(redisConnectionFactory);
//使用jackson2JsonRedisSerializer替换默认序列化
Jackson2JsonRedisSerializer jackson2JsonRedisSerializer=new Jackson2JsonRedisSerializer(Object.class);
ObjectMapper objectMapper=new ObjectMapper();
objectMapper.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);
objectMapper.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);
jackson2JsonRedisSerializer.setObjectMapper(objectMapper);
//设置key和value的序列化规则
redisTemplate.setKeySerializer(new StringRedisSerializer());
redisTemplate.setValueSerializer(jackson2JsonRedisSerializer);
redisTemplate.setHashKeySerializer(jackson2JsonRedisSerializer);
redisTemplate.setHashValueSerializer(jackson2JsonRedisSerializer);
redisTemplate.afterPropertiesSet();
return redisTemplate;
}
}
2.4、动态表名
INSERT INTO ${logTableName}("EVN_LOG_ID", "TABLE_NAME", "OPERATION", "PK_VALUE1", "PK_VALUE2",
"PK_VALUE3", "PK_VALUE4", "PK_VALUE5", "TRANS_FLAG", "PKS", "BASE_CODE", "PLA_BRANCH_CODE",
"CREATE_TIME","MSG_PRODUCE_TIME")
VALUES (#{id,jdbcType=VARCHAR}, #{tableName,jdbcType=VARCHAR}, #{operation,jdbcType=VARCHAR},
#{pk1,jdbcType=VARCHAR}, #{pk2,jdbcType=VARCHAR},#{pk3,jdbcType=VARCHAR},
#{pk4,jdbcType=VARCHAR},#{pk5,jdbcType=VARCHAR}, 'Y',
#{pks,jdbcType=VARCHAR}, #{baseCode,jdbcType=VARCHAR},
#{plaBranchCode,jdbcType=VARCHAR},sysdate,#{msgProduceTime,jdbcType=VARCHAR})
说明：1、#{} ：会根据参数的类型进行处理，当传入String类型，则会为参数加上双引号(占位符);2、${} ：将参数取出不做任何处理，直接放入语句中，就是简单的字符串替换(替换符)。
2.5、sql批量提交
public void batchInsert(List kafkaMsgInfoList) throws Exception{
//如果自动提交设置为true,将无法控制提交的条数，改为最后统一提交
// 创建session实列
SqlSessionFactory sqlSessionFactory = ApplicationContextUtils.getBean("sqlSessionFactory");
// 开启批量处理模式 BATCH 、关闭自动提交事务 false
SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH,false);
KafkaMsgConfigMapper KafkaMsgMapper = sqlSession.getMapper(KafkaMsgConfigMapper.class);
int BATCH = 1000;
for (int i = 0,size=kafkaMsgInfoList.size(); i < size; i++) {
//循环插入 + 开启批处理模式
KafkaMsgMapper.insertKafkaMsgInfo(kafkaMsgInfoList.get(i));
if (i != 0 && i % BATCH == 0) {
sqlSession .commit();
}
}
// 一次性提交事务
sqlSession.commit();
// 关闭资源
sqlSession.close();
} 2.6、业务代码
@KafkaListener(topics = {"${mykafka.topics:mytopic}"})
public void myMQConsumer(List msgList){
log.info("接收到的消息条数size："+msgList.size());
//计算程序耗时时间
StopWatch stopWatch = new StopWatch();
// 开始计时
stopWatch.start();
this.getKafkaMsgAndDel(msgList); //2、接收kafka日志并解析
stopWatch.stop();
log.info("本次任务耗时(秒)：" + stopWatch.getLastTaskTimeMillis()/1000 + "s");
} 三、测试结果
| 序号 | kafka数量(万条) | 消耗(秒) |
| 1 | 1 | 3 |
| 2 | 10 | 13 |
| 3 | 100 | 120 |
更多详细资料，请关注个人微信公众号或搜索“程序猿小杨”添加。
回复：源码，可以获取该项目对应的源码及表结构，开箱即可使用。
推荐文章：
1、SpringBoot使用@Async实现多线程异步;
2、SpringBoot用线程池ThreadPoolTaskExecutor异步处理百万级数据;
3、SpringBoot用线程池ThreadPoolExecutor处理百万级数据。