试验者
试验者

Springboot 集成KafkaAdmin

基础知识点

(256条消息) 看完这篇Kafka，你也许就会了Kafka_心的步伐的博客-CSDN博客

需要注意消费者offset的配置，生产者ack

docker 安装kafka和zookeeper

记得修改ip地址

docker pull wurstmeister/kafka
docker pull wurstmeister/zookeeper 
# 首先需要启动zookeeper
docker run -it --name zookeeper -p 12181:2181 -d wurstmeister/zookeeper:latest

# 第一台
docker run -it --name kafka01 -p 19092:9092 -d -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.16.131:12181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.16.131:19092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka:latest
# 第二台
docker run -it --name kafka02 -p 19093:9092 -d -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.16.131:12181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.16.131:19093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka:latest
# 第三台
docker run -it --name kafka03 -p 19094:9092 -d -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=192.168.16.131:12181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.16.131:19094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka:latest

Pom.xml

    
        org.springframework.boot
        spring-boot-starter-parent
        3.1.1
         
    


        
            org.springframework.kafka
            spring-kafka
            3.0.7
        

        
            com.alibaba
            fastjson
            1.2.78

Yml

server:
  port: 8088


kafkaserver:
  server: 192.168.16.131:19092,192.168.16.131:19093,192.168.16.131:19094
  topic: dume-topic
  parttition: 0
  parttition1: 1
  group-id: dume

配置Topic

package com.example.kafkademo.config;

import org.apache.kafka.clients.admin.AdminClientConfig;
import org.apache.kafka.clients.admin.NewTopic;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.core.KafkaAdmin;

import java.util.HashMap;
import java.util.Map;

/**
 * @description 
 * @author: gdg
 * @Date: 2023/7/13
 */
@Configuration
public class KafkaTopicConfig {

    @Value("${kafkaserver.server}")
    private String boardServer;
    @Value("${kafkaserver.topic}")
    private String topic;

    /**
     * 定义一个KafkaAdmin的bean，可以自动检测集群中是否存在topic，不存在则创建
     */
    @Bean
    public KafkaAdmin kafkaAdmin() {
        Map configs = new HashMap<>();
        // 指定多个kafka集群多个地址，例如：192.168.2.11,9092,192.168.2.12:9092,192.168.2.13:9092
        configs.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, boardServer);
        return new KafkaAdmin(configs);
    }

    /**
     * 创建Topic
     * */
    @Bean
    public NewTopic newTopic(){
        // 创建topic，需要指定创建的topic的"名称"、"分区数"、"副本数量(副本数数目设置要小于Broker数量)"
        return new NewTopic(topic,3,(short) 1);
    }
}

设置分区规则

package com.example.kafkademo.config;

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;
import org.apache.kafka.common.InvalidRecordException;
import org.apache.kafka.common.PartitionInfo;

import java.util.List;
import java.util.Map;

/**
 * @description <自定义分区规则>
 * @author: gdg
 * @Date: 2023/7/13
 */
public class MyPartitioner  implements Partitioner {
    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        List partitions = cluster.partitionsForTopic(topic);
        //分区数
        int numPartitions = partitions.size();
        // 根据业务逻辑，自定义消息的分区规则
        // 在这个示例中，我们假设 key 是一个字符串类型，根据 key 的哈希值来决定分区
        if (key instanceof String) {
            String keyString = (String) key;
            int partition = Math.abs(keyString.hashCode() % numPartitions);
            return partition;
        }
        // 如果 key 不是字符串类型，则抛出异常
        throw new InvalidRecordException("Invalid key type. It should be a string.");
    }

    @Override
    public void close() {
        // 在需要清理资源时执行的逻辑

    }

    @Override
    public void configure(Map map) {
        // 在需要配置一些参数时执行的逻辑
    }
}

Producer配置

package com.example.kafkademo.config;

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.common.serialization.StringSerializer;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.EnableKafka;
import org.springframework.kafka.core.DefaultKafkaProducerFactory;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.core.ProducerFactory;

import java.util.HashMap;
import java.util.Map;

/**
 * @description <功能描述>
 * @author: gdg
 * @Date: 2023/7/13
 * 使用 @EnableKafka ：
 * 1 可以使用 @KafkaListener 注解来标注方法，指定要监听的主题、消费者组等配置，从而实现接收和处理 Kafka 消息的功能
 * 2 会根据默认配置或者自定义配置进行初始化  从而简化了 Kafka 相关组件的配置和创建过程。
 *
 */

@Configuration
@EnableKafka
public class KafkaProducerConfig {

    @Value("${kafkaserver.server}")
    private String boardServer;

    public Map producerConfigs(){
        Map props = new HashMap<>();
        // 指定多个kafka集群多个地址
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, boardServer);

        // 重试次数，0为不启用重试机制
        props.put(ProducerConfig.RETRIES_CONFIG, 0);

        //同步到副本, 默认为1
        // acks=0 把消息发送到kafka就认为发送成功
        // acks=1 把消息发送到kafka leader分区，并且写入磁盘就认为发送成功
        // acks=all 把消息发送到kafka leader分区，并且leader分区的副本follower对消息进行了同步就任务发送成功
        props.put(ProducerConfig.ACKS_CONFIG, "1");
        // 生产者空间不足时，send()被阻塞的时间，默认60s
        props.put(ProducerConfig.MAX_BLOCK_MS_CONFIG, 6000);
        // 控制批处理大小，单位为字节
        props.put(ProducerConfig.BATCH_SIZE_CONFIG, 4096);
        // 批量发送，延迟为1毫秒，启用该功能能有效减少生产者发送消息次数，从而提高并发量
        props.put(ProducerConfig.LINGER_MS_CONFIG, 1);
        // 设置生产者发送缓冲区的大小的属性。 发送缓冲区：Kafka 生产者用来临时存储待发送消息的内存区域
        props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 40960);
        // 消息的最大字节大小,也就是说send的消息大小不能超过这个限制, 默认1048576(1MB)
        props.put(ProducerConfig.MAX_REQUEST_SIZE_CONFIG,1048576);
        // 键的序列化方式
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        // 值的序列化方式
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        // 压缩消息，支持四种类型，分别为：none、lz4、gzip、snappy，默认为none。
        // 消费者默认支持解压，所以压缩设置在生产者，消费者无需设置。
        //none：不进行压缩，消息以原始格式发送。
        //gzip：使用 GZIP 压缩算法进行压缩。
        //snappy：使用 Snappy 压缩算法进行压缩。
        //lz4：使用 LZ4 压缩算法进行压缩。
        //需要注意的是，压缩会增加消息的处理开销，因为在发送和接收消息时需要进行压缩和解压缩操作。
        props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"none");
        //设置分区规则
        props.put(ProducerConfig.PARTITIONER_CLASS_CONFIG, MyPartitioner.class);
        return props;
    }

    /**
     * Producer 工厂配置
     * 可以自定义创建 Kafka 生产者
     * 设置生产者的各种属性，如 Kafka 服务器地址、序列化器、分区器、拦截器等
     */
    @Bean
    public ProducerFactory producerFactory(){
        return new DefaultKafkaProducerFactory<>(producerConfigs());
    }


    /**
     * Producer Template 配置
     */
    @Bean(name="kafkaTemplate")
    public KafkaTemplate kafkaTemplate() {
        return new KafkaTemplate<>(producerFactory());
    }

}

Consumer配置

package com.example.kafkademo.config;

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;
import org.apache.kafka.common.InvalidRecordException;
import org.apache.kafka.common.PartitionInfo;

import java.util.List;
import java.util.Map;

/**
 * @description <自定义分区规则>
 * @author: gdg
 * @Date: 2023/7/13
 */
public class MyPartitioner  implements Partitioner {
    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        List partitions = cluster.partitionsForTopic(topic);
        //分区数
        int numPartitions = partitions.size();
        // 根据业务逻辑，自定义消息的分区规则
        // 在这个示例中，我们假设 key 是一个字符串类型，根据 key 的哈希值来决定分区
        if (key instanceof String) {
            String keyString = (String) key;
            int partition = Math.abs(keyString.hashCode() % numPartitions);
            return partition;
        }
        // 如果 key 不是字符串类型，则抛出异常
        throw new InvalidRecordException("Invalid key type. It should be a string.");
    }

    @Override
    public void close() {
        // 在需要清理资源时执行的逻辑

    }

    @Override
    public void configure(Map map) {
        // 在需要配置一些参数时执行的逻辑
    }
}

配置消费者监听器

配置同一个topic  ， 监听不同分区

package com.example.kafkademo.manager;

import com.alibaba.fastjson.JSONObject;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.annotation.TopicPartition;
import org.springframework.stereotype.Component;

import java.text.SimpleDateFormat;
import java.util.List;
import java.util.Optional;

/**
 * @description <功能描述>
 * @author: gdg
 * @Date: 2023/7/13
 */
@Component
public class KafkaComsumerManager {

    private static Logger logger = LoggerFactory.getLogger("adminLogger");


    private static SimpleDateFormat formatter = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");


    /**
     * 指定topic
     * 指定消费分区parttition
     * topicPartitions ： 由主题名和分区号组成的列表或集合。它用于在消费者端进行分区级别的操作和处理
     * containerFactory : 指定消息监听  用于消费主题中的消息
     * ${kafkaserver.parttition}  ${} 是一种属性占位符语法，用于引用配置文件中的属性值 会从 YAML 配置文件中获取对应的值。
     *
     * @param records
     */
    @KafkaListener(topicPartitions = {
            @TopicPartition(topic = "${kafkaserver.topic}",partitions = "${kafkaserver.parttition}" ),
            @TopicPartition(topic = "${kafkaserver.topic}",partitions = "${kafkaserver.parttition1}" ),
            },
            containerFactory = "kafkaListenerContainerFactory",
            groupId = "group-test-1")
    public void onMessage(List records) {
        logger.info("**********************************接收数量{}**************************************",records.size());
        for(ConsumerRecord record :records ){
            Optional kafkaMassage = Optional.ofNullable(record.value());
            if(kafkaMassage.isPresent()){
                try {
                    Long current = System.currentTimeMillis();
                    logger.info("**********************************kafka接收信息打印开始**************************************");
                    logger.info("kafka接收信息："+'\t'+record.toString());
                    logger.info("kafka数据："+'\t'+record.value());
                    logger.info("分区："+ record.partition());
                    logger.info("偏移量：" + record.offset());
                    logger.info("报文时间：" + formatter.format(record.timestamp()));
                    logger.info("系统时间：" + formatter.format(current));
                    logger.info("**********************************kafka信息打印结束**************************************");
                    JSONObject value = JSONObject.parseObject(record.value().toString());

                } catch (Exception e) {
                    // TODO: handle exception
                    logger.error("********kafka接收数据出错:{}********",e.getMessage());
                }
            }


        }

    }

}
 
  
Controller调用
 
  
package com.example.kafkademo.produce;

import com.alibaba.fastjson.JSON;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.support.SendResult;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.security.SecureRandom;
import java.util.Base64;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.CompletableFuture;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

/**
 * @description <功能描述>
 * @author: gdg
 * @Date: 2023/7/13
 */
@RestController
@RequestMapping("/pro")
public class ProducerController {
    private static Logger logger = LoggerFactory.getLogger("adminLogger");

    @Autowired
    @Qualifier("kafkaTemplate")
    private KafkaTemplate kafkaTemplate;
    @Value("${kafkaserver.topic}")
    private String topic;

    /**
     * producer 同步方式发送数据
     * get()方法
     *      1 会阻塞当前线程直到发送完成，并返回发送结果对象
     *      2 可以实现同步地发送消息并等待发送完成
     * get(10, TimeUnit.SECONDS)  设置10秒内发送完成否则将会抛出 TimeoutException 异常
     *
     * @param topic   topic名称
     * @param message producer发送的数据
     */
    @PostMapping("/syncSend")
    public void sendMessageSync()
            throws InterruptedException, ExecutionException, TimeoutException {
        for (int i = 0; i < 50; i++) {
            Map map = new HashMap<>();
            map.put("userId","1000"+i);
            map.put("userName","阿萨德"+i);
            String message = JSON.toJSONString(map);
            kafkaTemplate.send(topic, message).get(10, TimeUnit.SECONDS);
        }

    }


    @PostMapping(value = "/producerData")
    public void producerData() {
        for (int i = 0; i < 50; i++) {
            Map map = new HashMap<>();
            map.put("userId","1000"+i);
            map.put("userName","阿萨德"+i);
            String message = JSON.toJSONString(map);
            sendMessageAsync(topic,generateRandomString(10),message);
        }
    }
    private   String generateRandomString(int length) {
        SecureRandom secureRandom = new SecureRandom();
        byte[] randomBytes = new byte[length];
        secureRandom.nextBytes(randomBytes);
        return Base64.getUrlEncoder().withoutPadding().encodeToString(randomBytes);
    }
    /**
     * producer 异步方式发送数据
     *
     * @param topic   topic名称
     * @param message producer发送的数据
     */
    private void sendMessageAsync(String topic,String key, String message) {
        logger.info("准备发送消息为：{}", message);
        //发送消息
        CompletableFuture> future = kafkaTemplate.send(topic,key,message);
        //处理发送后的操作
        future.handle((result, ex) -> {
            if (ex != null) {
                // 在这里处理异常情况
                logger.error("{} - 生产者 发送消息失败：{}", topic, ex.getMessage());
                // 返回一个默认的 SendResult 或其他你希望返回的默认值
                return null;
            } else {
                // 返回原始的 SendResult
                logger.info("{} - 生产者 发送消息成功：{}" , topic, result.getProducerRecord().value());
                return result;
            }
        });
    }
}

 
  
进入容器执行命令
 
  
cd  /opt/kafka/bin/
 
  
# 创建topic名称为first，3个分区，1个副本
 
  
./kafka-topics.sh --zookeeper 192.168.16.131:12181 --create --topic first --replication-factor 1 --partitions 3
 
  
 
  
查询主题命令
 
  
 kafka-topics.sh  --describe  --zookeeper 192.168.16.131:12181 --topic  dume-topic
 
  
---ReplicationFactor ： 副本数
 
  
---PartitionCount ： 分区数
Springboot 集成KafkaAdmin_第1张图片
 
  
 分区数据存储
 
  
        cd /opt/kafka_2.13-2.8.1/config/   查询 server.properties文件，确定分区存储路径 
 
  
 
  
Springboot 集成KafkaAdmin_第2张图片
 
  
查询分区数据存储位置
 
  
cd /kafka/kafka-logs-d3c8611dfd21/
  
 
  
Springboot 集成KafkaAdmin_第3张图片
 
  
Springboot 集成KafkaAdmin_第4张图片
 
  
 
 
  
 分区分配规则
 
  
分区的平均分散是通过分区的分配算法来实现的。Kafka 使用一种称为“分区分配策略”的算法，根据一定的规则将分区均匀地分配给可用的 Broker
 
  
常用的分区分配策略有以下几种：
 
  
     
   
  • Round Robin（轮询）：按照顺序将分区分配给可用的 Broker，保持平衡。
    •  
   
  • Range（范围）：根据分区的大小或其他属性将分区分配给 Broker，以保持平衡和优化数据分布。
    •  
   
  • Sticky（黏性）：尽可能将同一分区分配给同一 Broker，以减少分区的迁移和维护开销。
    •  
  
 
  
注意； 分区的分配和平衡是在 Kafka 集群中动态进行的，当集群的 Broker 增加或减少时，Kafka 会自动进行分区的重新分配，以适应集群的变化和维持平衡状态
 
  
Rebalance
 
  
当有新的消费者加入消费者组、已有的消费者退出消费者组或者订阅的主体分区发生了变化，会触发分区的重新分配操作，重新分配的过程称为Rebalance
 
  
 
  
 
  
 
  
 
  
 
  
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(spring,boot,kafka,后端)

        

            

                
    
                    
  • 一个真正可用的docker-compse部署 单机版kafka 版本2.x
                        garen_dimon
软件研究dockerkafka容器
                        
    注意：kafka3.x版本，Kafka3.x需要Java11或更高版本。确保系统已安装合适的Java版本。Kafka3.x推荐使用ZooKeeper3.5.x或更高版本。确保ZooKeeper集群与Kafka版本兼容。如果你计划使用KRaft模式替换传统的ZooKeeper模式，请确保你已经了解新模式的要求和配置。在网上搜索单机docker-compose部署kafka，出现最多的内容如下：ver
    
                    
    • 
                    
  • 用SpringBoot+mysql+html实现ATM 系统总结与扩展
                        SAFE20242034
#一SpringBootspringbootmysqlhtml
                        
    这里写目录标题ATM系统总结与扩展项目概述主要功能模块1.用户注册2.用户登录3.账户查询4.存款与取款5.转账6.修改密码7.销户系统改进建议功能扩展技术优化完整代码实现数据库表设计后端代码（SpringBoot示例）1.Account实体类2.AccountRepository接口3.AccountController类前端代码（HTML+JavaScript示例）实际开发与部署步骤**1.开
    
                    
    • 
                    
  • Docker-Compose以KRaft模式快速部署Kafka
                        LUCIAZZZ
dockerkafka容器java运维springboot
                        
    我们创建一个docker-compose.yaml文件然后后台启动我们的DockerComposedocker-composeup-d我们修改配置后可以关闭后重启docker-composedowndocker-compose.yaml文件内容version:"3"services:kafka:image:'bitnami/kafka:latest'user:rootenvironment:-KA
    
                    
    • 
                    
  • SpringBoot使用RabbitMQ实现延迟队列
                        Funky_oaNiu
Java后端java-rabbitmqspringbootrabbitmq
                        
    SpringBoot使用RabbitMQ实现延迟队列需求和目标名词解释实现方式引入依赖添加配置文件配置类死信队列消费者即时队列消费者延迟消息发送结果注意需求和目标商城系统，用户下单后若15分钟内仍未完成支付，则自动取消订单，若已支付，不做其他特殊操作系统还需要支持即时消息的功能，即发即收。名词解释①即时队列：即发即收②延迟队列：发了消息，没有接收方，只有消息过期后才被处理③死信队列：延迟队列上的消
    
                    
    • 
                    
  • Kafka（一）使用Docker Compose安装单机Kafka以及Kafka UI_docker 部署单机kafka
                        2401_84166396
2024年程序员学习kafkadockerui
                        
    开启JMX监控JMX_PORT=9998KAFKA_JMX_OPTS=-Dcom.sun.management.jmxremote-Dcom.sun.management.jmxremote.authenticate=false-Dcom.sun.management.jmxremote.ssl=false-Djava.rmi.server.hostname=kafka-Dcom.sun.mana
    
                    
    • 
                    
  • spring mvc java 8 rest idea_springmvc学习笔记---面向移动端支持REST API
                        射命丸咲
springmvcjava8restidea
                        
    前言:springmvc对注解的支持非常灵活和飘逸,也得web编程少了以往很大一坨配置项.另一方面移动互联网的到来,使得RESTAPI变得流行,甚至成为主流.因此我们来关注下springmvc对restapi的支持程度,以及需要做的工作评估.样例设计和准备:springmvc学习笔记系列的文章目录:•idea创建springmvc项目RESTAPI的设计原则遵循之前的博文来实现•移动互联网实战--
    
                    
    • 
                    
  • 基于 Spring 的本地事务管理
                        可儿·四系桜
java数据库
                        
    1.什么是本地事务？本地事务是指在单一数据库系统内执行的一组操作，这些操作要么全部完成，要么全部不执行，是一个不可分割的工作单元。本地事务具有ACID特性：原子性（Atomicity）：事务中的所有操作都作为一个整体提交或回滚；如果事务的一部分失败，则整个事务都会被撤销。一致性（Consistency）：事务将数据库从一个一致状态转换到另一个一致状态，确保数据的完整性和规则得到遵守。隔离性（Iso
    
                    
    • 
                    
  • Spring MVC学习笔记
                        万般滋味皆生活
后端开发springspringmvc
                        
    文章目录SpringMVC什么是MVC设计模式？SpringMVC的核心组件SpringMVC的工作流程如何使用？SpringMVC注解SpringMVC数据绑定SpringMVC模型数据解析SpringMVC自定义数据转换器SpringMVCREST特点如何使用SpringMVC文件上传下载SpringMVC表单标签库常用的表单标签SpringMVC数据校验SpringMVCSpringMVC是
    
                    
    • 
                    
  • spring mvc 创建restapi 笔记
                        weixin_42277889
springmvc笔记
                        
    @RestController@RequestMapping("/spittles")publicclassSpittleController{//示例：使用@RequestBody接收JSON并自动转换为Spittle对象@PostMappingpublicSpittlesaveSpittle(@RequestBodySpittlespittle){//此时Spring已经把请求体中的JSON/
    
                    
    • 
                    
  • vue项目html页面生成PDF预览、下载及生成页面水印
                        我是槑槑
Vuehtml5vue.jsjavascriptcanvas
                        
    html2canvas官方文档jspdf官方文档目录概述原理过程中遇到的问题生成的PDF截图代码示例加水印版代码示例现存问题概述因为生成的PDF内还有富文本，后端不好生成PDF，故由前端完成。原理html2canva生成截图，jsPDF利用图片生成PDF。过程中遇到的问题1、生成大于30多页时，容易造成生成页面黑屏问题。原因：canvas生成图片时，对内容高度有一定的限制，超过这个高度，canva
    
                    
    • 
                    
  • 后端接口重定向_Java访问重定向接口
                        董振业
后端接口重定向
                        
    背景：开发做了一个免登陆的接口，方便我后续给管理后台做一些小工具，问题来了，给的免登陆接口是个302如图的test_login，在重定向一个200的接口(eload_admin)，原本开始这样做：02这个免登陆接口时，获取登录的cookies，在把登录后的cookies给200的接口，就是正常登录成功如图：登录成功后获200页面显示的内容session就表示获取了登录态问题：但是在代码中实施遇到一
    
                    
    • 
                    
  • Kafka 副本 leader 是怎么选举的？？思维导图 代码示例（java 架构)
                        用心去追梦
kafkajava架构
                        
    Kafka中的副本（Replica）Leader选举是确保数据高可用性和容错性的重要机制。当一个分区的Leader副本不可用时，Kafka需要从该分区的ISR（In-SyncReplicas）列表中选择一个新的Leader来继续处理生产者和消费者的请求。ISR列表包含所有与Leader保持同步的副本。Kafka副本Leader选举思维导图KafkaReplicaLeaderElection├──触
    
                    
    • 
                    
  • spring 整合mybatis 出现解析不了配置文件的问题
                        yxlc_liushy
mybatisspringmybatis3spring
                        
    1，错误内容：org.springframework.beans.factory.BeanCreationException:Errorcreatingbeanwithname'sqlSessionFactory'definedinclasspathresource[spring/applicationContext.xml]:Invocationofinitmethodfailed;nested
    
                    
    • 
                    
  • 基于Maven的Spring/SpringMVC/Mybatis/Mybatis-plus/Apache-Shiro基础环境配置
                        weixin_30685029
javajson测试
                        
    记录一下，以便不时之需。pom.xml122.534.2.5.RELEASE41.8.9563.4.071.3.089101.1.7110.1.4121.7.211314151.0.18165.1.381718191.2.22021224.122324252627javax.servlet28servlet-api29${servlet-api.version}30provided31323334
    
                    
    • 
                    
  • 阿里注册中心 Nacos 启动报错 Unable to start web server
                        FH-Admin
springcloud前端javaspringboot
                        
    报错内容如下org.springframework.context.ApplicationContextException:Unabletostartwebserver;nestedexceptionisorg.springframework.boot.web.server.WebServerException:UnabletostartembeddedTomcatatorg.springfram
    
                    
    • 
                    
  • Mybatis-Flex的魅力
                        星空宇航员
mybatis数据库
                        
    目录一、Mybatis-Flex是什么？二、Mybatis-Flex的有什么特点？三、Mybatis-Flex和同类框架对比1）功能对比2）性能对比1.测试单条数据2.测试列表(List)数据查询3.分页查询4.数据更新总结四、Mybatis-Flex支持的数据库类型五、入门案例1.创建数据库2.创建SpringBoot项目，并添加Maven依赖3.对SpringBoot项目进行配置4.编写实体类
    
                    
    • 
                    
  • Kafka 深入客户端 — 事务
                        黄名富
微服务kafka分布式java微服务zookeeper
                        
    Kafka事务确保了数据在写入Kafka时的原子性和一致性。1幂等幂等就是对接口的多次调用所产生的结果和调用一次是一致的。Kafka生产者在进行重试的时候可能会写入重复的消息，开启幂等性功能后就可以避免这种情况。将生产者客户端参数enable.idempotence设置为true即可。1.1实现原理Kafka引入了producerid（简称PID）和序列号（sequencenumber）这两个概念
    
                    
    • 
                    
  • MyBatis-Spring-Boot-Starter 教程
                        段沙璐Blythe

                        
    MyBatis-Spring-Boot-Starter教程spring-boot-starterMyBatisintegrationwithSpringBoot项目地址:https://gitcode.com/gh_mirrors/sp/spring-boot-starter1.项目目录结构及介绍MyBatis-Spring-Boot-Starter是一个方便地将MyBatis集成到SpringB
    
                    
    • 
                    
  • Kafka原理总结
                        DEMOAHUI
mq中间件kafka
                        
    Kafka是一个开源的分布式流式处理平台，在这个平台上可以发布、订阅以及处理数据流，具有强大的吞吐能力，让Kafka成为了一个高性能的发布与订阅消息系统一：概念理解Broker部署Kafka进程的服务被称之为Broker，Broker会接收Producer的消息，持久化到本地，然后Comsumer通Pull的形式进行消息拉取，通常使用集群的形式进行部署Producer生产者，即发送消息的一方，往B
    
                    
    • 
                    
  • kafka系列-日志存储
                        chayangdz
KafkaKafka
                        
    kafka中的消息，是以主题进行归类的，每个主题分为一个或多个分区，主题和分区是逻辑上的概念。消息在发送时，会按照规则追加到其中一个分区中。分区里的每一条消息，都会被分配一个唯一的序列号，也就是偏移量（offset）分区是逻辑上的概念，往分区追加消息时，其实是写到日志（Log）中，为了防止日志过大，kafka还有日志分段（LogSegment）的概念，Log在物理上是以文件夹的形式存储，每个Log
    
                    
    • 
                    
  • 微信小程序上传图片使用compressImage压缩
                        前端搬砖达人
微信小程序小程序
                        
    在上传图片时，如果太大体积得图片，往往会上传很慢，而且还加大服务器的压力，所以在性能考虑方面来说，可以处理上传图片时先压缩再传给后端目前原生小程序开发有两种方式进行压缩（原生方法，不排除有第三方接入，但是我目前没找到第三方插件，有找到的大佬们分享一下）这篇先写官方api压缩compressImage压缩这个是官方api压缩方法，但是偶现兼容问题，仅对jpg图片有效1、选择图片使用wx.choose
    
                    
    • 
                    
  • SpringBoot中运行Yolov5程序
                        eqa11
springbootYOLO后端
                        
    文章目录SpringBoot中运行Yolov5程序一、引言二、环境搭建1、SpringBoot项目创建2、YOLOv5环境配置三、SpringBoot与YOLOv5集成1、创建Python服务2、SpringBoot调用Python服务四、使用示例1、创建控制器五、总结SpringBoot中运行Yolov5程序一、引言在人工智能领域，目标检测是一个热门且实用的技术。YOLOv5作为目标检测算法中的
    
                    
    • 
                    
  • 基于讯为RK3588平台搭建Ubuntu20.04.5根文件系统
                        襟铭心缘
RK3588学习笔记ubuntulinuxarm开发
                        
    准备工作在搭建系统之前，需要详细阅读讯为公司提供的一些资料（虽然他们家资料一直都做的不完善），搭建好用于开发的Ubuntu虚拟机环境，熟练使用一些常用工具如烧录系统的工具RKDevTool、传输文件的工具FileZilla、远程连接工具MobaXterm等等。当然，本章只针对根文件系统，uboot、kernel的镜像文件和驱动文件需要提前准备好，编译讯为提供的Rockchip的SDK即可得到这些文
    
                    
    • 
                    
  • 声明式事务调用Feign原理
                        贤少Xs
springcloudjava微服务
                        
    一、feign介绍1、什么是feign？feign是springcloud提供的声明式(接口)的http客户端(工作在consumer端)feign支持springmvc注解feign集成了ribbon也支持负载均衡ribbon+restTemplate=feign2、feign的启动器spring-cloud-starter-openfeign二、feign入门案例1、创建feign_provi
    
                    
    • 
                    
  • spring介绍
                        莫得等待
springspringjava后端
                        
    什么是SpringFrameworkSpring是一个开源应用框架，旨在降低应用程序开发的复杂度。它是轻量级、松散耦合的。它具有分层体系结构，允许用户选择组件，同时还为J2EE应用程序开发提供了一个有凝聚力的框架。它可以集成其他框架，如Structs、Hibernate、EJB等，所以又称为框架的框架列举SpringFramework的优点。由于SpringFrameworks的分层架构，用户可以
    
                    
    • 
                    
  • ImportError: DLL load failed while importing _rust: 找不到指定的程序的解决方案
                        爱编程的喵喵
Python基础课程pythonImportErrorDLLloadfailed_rust解决方案
                        
      大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。  本文主要介绍了ImportError:DLLloa
    
                    
    • 
                    
  • 定时任务之Quartz
                        Listen·Rain
定时任务springbootjavaquartz
                        
    定时任务之Quartz1.Quartz简介2.Quartz核心概念3.Quartz的工作流程4.Quartz的应用场景5.Springboot集成Quartz5.1.添加依赖5.2创建任务类5.3配置JobDetail和Trigger5.4运行应用1.Quartz简介定义：Quartz是一个灵活的、开源的作业调度库，用于在Java应用程序中根据时间间隔或特定条件来调度作业的执行。特点：强大的调度功
    
                    
    • 
                    
  • Node多终端前后端同时执行
                        锐视创想
前端nodenodejs
                        
    当前项目为node-vue-ele-app(服务端）└client（前端客户端）安装concurrentlynpmiconcurrently进入Client文件夹，编辑package.json"scripts":{"serve":"vue-cli-serviceserve","build":"vue-cli-servicebuild","start":"npmrunserve"}
    
                    
    • 
                    
  • 探索高效办公新境界：OASys 开源 OA 系统
                        邬楠满Seaman

                        
    探索高效办公新境界：OASys开源OA系统项目地址:https://gitcode.com/gh_mirrors/oa/OASys在数字化转型的浪潮中，高效的办公自动化系统（OA）成为了企业提升管理效率、优化工作流程的关键。今天，我们将深入介绍一款基于SpringCloud和Vue3的开源OA系统——OASys，它不仅集成了先进的技术框架，还提供了丰富的功能模块，旨在为各类企业提供一个全面、灵活的
    
                    
    • 
                    
  • SpringCloud分布式中怎么使用open-feign来相互调用微服务(前提是服务都要注册到注册中心【zookeeper,或者nocas】)
                        JISOOLUO
实用的示例网关java接口spring
                        
    1、引入open-feignorg.springframework.cloudspring-cloud-starter-openfeign
    
                    
    • 
                                
  • apache 安装linux windows
                                    墙头上一根草
apacheinuxwindows
                                    
    linux安装Apache 有两种方式一种是手动安装通过二进制的文件进行安装，另外一种就是通过yum 安装，此中安装方式，需要物理机联网。以下分别介绍两种的安装方式 
  
  
通过二进制文件安装Apache需要的软件有apr,apr-util,pcre 
 1，安装 apr        下载地址：htt
    
                                
    • 
                                
  • fill_parent、wrap_content和match_parent的区别
                                    Cb123456
match_parentfill_parent
                                    
    fill_parent、wrap_content和match_parent的区别: 
  
1）fill_parent 
  设置一个构件的布局为fill_parent将强制性地使构件扩展，以填充布局单元内尽可能多的空间。这跟Windows控件的dockstyle属性大体一致。设置一个顶部布局或控件为fill_parent将强制性让它布满整个屏幕。 
2） wrap_conte
    
                                
    • 
                                
  • 网页自适应设计
                                    天子之骄
htmlcss响应式设计页面自适应
                                    
    网页自适应设计 
       网页对浏览器窗口的自适应支持变得越来越重要了。自适应响应设计更是异常火爆。再加上移动端的崛起，更是如日中天。以前为了适应不同屏幕分布率和浏览器窗口的扩大和缩小，需要设计几套css样式，用js脚本判断窗口大小，选择加载。结构臃肿，加载负担较大。现笔者经过一定时间的学习，有所心得，故分享于此，加强交流，共同进步。同时希望对大家有所
    
                                
    • 
                                
  • [sql server] 分组取最大最小常用sql
                                    一炮送你回车库
SQL Server
                                    
    --分组取最大最小常用sql--测试环境if OBJECT_ID('tb') is not null drop table tb;gocreate table tb( col1 int, col2 int, Fcount int)insert into tbselect 11,20,1 union allselect 11,22,1 union allselect 1
    
                                
    • 
                                
  • ImageIO写图片输出到硬盘
                                    3213213333332132
javaimage
                                    
    package awt; 
 
import java.awt.Color; 
import java.awt.Font; 
import java.awt.Graphics; 
import java.awt.image.BufferedImage; 
import java.io.File; 
import java.io.IOException; 
 
import javax.imagei
    
                                
    • 
                                
  • 自己的String动态数组
                                    宝剑锋梅花香
java动态数组数组
                                    
    数组还是好说，学过一两门编程语言的就知道，需要注意的是数组声明时需要把大小给它定下来，比如声明一个字符串类型的数组：String str[]=new String[10];    但是问题就来了，每次都是大小确定的数组，我需要数组大小不固定随时变化怎么办呢？  动态数组就这样应运而生，龙哥给我们讲的是自己用代码写动态数组，并非用的ArrayList 看看字符
    
                                
    • 
                                
  • pinyin4j工具类
                                    darkranger
.net
                                    
    pinyin4j工具类Java工具类 2010-04-24 00:47:00 阅读69 评论0 字号：大中小 
引入pinyin4j-2.5.0.jar包: 
pinyin4j是一个功能强悍的汉语拼音工具包，主要是从汉语获取各种格式和需求的拼音，功能强悍，下面看看如何使用pinyin4j。 
 
本人以前用AscII编码提取工具，效果不理想，现在用pinyin4j简单实现了一个。功能还不是很完美，
    
                                
    • 
                                
  • StarUML学习笔记----基本概念
                                    aijuans
UML建模
                                    
    介绍StarUML的基本概念，这些都是有效运用StarUML?所需要的。包括对模型、视图、图、项目、单元、方法、框架、模型块及其差异以及UML轮廓。 
        模型、视与图（Model, View and Diagram） 
       &
    
                                
    • 
                                
  • Activiti最终总结
                                    avords
Activiti id 工作流
                                    
    1、流程定义ID：ProcessDefinitionId，当定义一个流程就会产生。 
2、流程实例ID：ProcessInstanceId，当开始一个具体的流程时就会产生，也就是不同的流程实例ID可能有相同的流程定义ID。 
3、TaskId，每一个userTask都会有一个Id这个是存在于流程实例上的。 
4、TaskDefinitionKey和（ActivityImpl activityId 
    
                                
    • 
                                
  • 从省市区多重级联想到的，react和jquery的差别
                                    bee1314
jqueryUIreact
                                    
    在我们的前端项目里经常会用到级联的select，比如省市区这样。通常这种级联大多是动态的。比如先加载了省，点击省加载市，点击市加载区。然后数据通常ajax返回。如果没有数据则说明到了叶子节点。       针对这种场景，如果我们使用jquery来实现，要考虑很多的问题，数据部分，以及大量的dom操作。比如这个页面上显示了某个区，这时候我切换省，要把市重新初始化数据，然后区域的部分要从页面
    
                                
    • 
                                
  • Eclipse快捷键大全
                                    bijian1013
javaeclipse快捷键
                                    
    Ctrl+1 快速修复(最经典的快捷键,就不用多说了)Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加)Ctrl+Alt+↑ 复制当前行到上一行(复制增加)Alt+↓ 当前行和下面一行交互位置(特别实用,可以省去先剪切,再粘贴了)Alt+↑ 当前行和上面一行交互位置(同上)Alt+← 前一个编辑的页面Alt+→ 下一个编辑的页面(当然是针对上面那条来说了)Alt+En
    
                                
    • 
                                
  • js 笔记 函数
                                    征客丶
JavaScript
                                    
    一、函数的使用 
1.1、定义函数变量 
var vName = funcation(params){ 
} 
 
1.2、函数的调用 
函数变量的调用：      vName(params); 
函数定义时自发调用：(function(params){})(params); 
 
1.3、函数中变量赋值 
var a = 'a'; 
var ff
    
                                
    • 
                                
  • 【Scala四】分析Spark源代码总结的Scala语法二
                                    bit1129
scala
                                    
    1. Some操作 
  
在下面的代码中，使用了Some操作：if (self.partitioner == Some(partitioner))，那么Some(partitioner)表示什么含义？首先partitioner是方法combineByKey传入的变量， 
Some的文档说明： 
  
/** Class `Some[A]` represents existin
    
                                
    • 
                                
  • java 匿名内部类
                                    BlueSkator
java匿名内部类
                                    
    组合优先于继承 
Java的匿名类，就是提供了一个快捷方便的手段，令继承关系可以方便地变成组合关系 
继承只有一个时候才能用，当你要求子类的实例可以替代父类实例的位置时才可以用继承。 
  
在Java中内部类主要分为成员内部类、局部内部类、匿名内部类、静态内部类。 
内部类不是很好理解，但说白了其实也就是一个类中还包含着另外一个类如同一个人是由大脑、肢体、器官等身体结果组成，而内部类相
    
                                
    • 
                                
  • 盗版win装在MAC有害发热，苹果的东西不值得买，win应该不用
                                    ljy325
游戏applewindowsXPOS
                                    
    Mac mini 型号: MC270CH-A RMB:5,688 
  
Apple 对windows的产品支持不好,有以下问题: 
  
1.装完了xp,发现机身很热虽然没有运行任何程序！貌似显卡跑游戏发热一样，按照那样的发热量,那部机子损耗很大,使用寿命受到严重的影响! 
  
2.反观安装了Mac os的展示机，发热量很小，运行了1天温度也没有那么高 
&nbs
    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-生成器模式-Builder
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 



/**
 * 生成器模式的意图在于将一个复杂的构建与其表示相分离，使得同样的构建过程可以创建不同的表示（GoF）
 * 个人理解：
 * 构建一个复杂的对象，对于创建者（Builder）来说，一是要有数据来源(rawData)，二是要返回构
    
                                
    • 
                                
  • JIRA与SVN插件安装
                                    chenyu19891124
SVNjira
                                    
    JIRA安装好后提交代码并要显示在JIRA上，这得需要用SVN的插件才能看见开发人员提交的代码。 
1.下载svn与jira插件安装包，解压后在安装包(atlassian-jira-subversion-plugin-0.10.1) 
2.解压出来的包里下的lib文件夹下的jar拷贝到(C:\Program Files\Atlassian\JIRA 4.3.4\atlassian-jira\WEB
    
                                
    • 
                                
  • 常用数学思想方法
                                    comsci
工作
                                    
      对于搞工程和技术的朋友来讲，在工作中常常遇到一些实际问题，而采用常规的思维方式无法很好的解决这些问题，那么这个时候我们就需要用数学语言和数学工具，而使用数学工具的前提却是用数学思想的方法来描述问题。。下面转帖几种常用的数学思想方法，仅供学习和参考 
 
 
 
  函数思想 
　　把某一数学问题用函数表示出来，并且利用函数探究这个问题的一般规律。这是最基本、最常用的数学方法
    
                                
    • 
                                
  • pl/sql集合类型
                                    daizj
oracle集合typepl/sql
                                    
    --集合类型 
/* 
  单行单列的数据，使用标量变量 
  单行多列数据，使用记录 
  单列多行数据，使用集合（。。。） 
  *集合：类似于数组也就是。pl/sql集合类型包括索引表（pl/sql table）、嵌套表（Nested Table）、变长数组（VARRAY）等 
*/ 
/* 
    --集合方法 
&n
    
                                
    • 
                                
  • [Ofbiz]ofbiz初用
                                    dinguangx
电商ofbiz
                                    
    从github下载最新的ofbiz（截止2015-7-13），从源码进行ofbiz的试用 
1. 加载测试库 
ofbiz内置derby，通过下面的命令初始化测试库 
./ant load-demo (与load-seed有一些区别) 
  
2. 启动内置tomcat 
./ant start 
或 
./startofbiz.sh 
或 
java -jar ofbiz.jar 
&
    
                                
    • 
                                
  • 结构体中最后一个元素是长度为0的数组
                                    dcj3sjt126com
cgcc
                                    
    在Linux源代码中，有很多的结构体最后都定义了一个元素个数为0个的数组，如/usr/include/linux/if_pppox.h中有这样一个结构体： struct pppoe_tag {     __u16 tag_type;     __u16 tag_len;   &n
    
                                
    • 
                                
  • Linux cp 实现强行覆盖
                                    dcj3sjt126com
linux
                                    
    发现在Fedora 10 /ubutun 里面用cp -fr src dest，即使加了-f也是不能强行覆盖的，这时怎么回事的呢？一两个文件还好说，就输几个yes吧，但是要是n多文件怎么办，那还不输死人呢？下面提供三种解决办法。 方法一 
 
 我们输入alias命令，看看系统给cp起了一个什么别名。 
  
  [root@localhost ~]# aliasalias cp=’cp -i’a
    
                                
    • 
                                
  • Memcached(一)、HelloWorld
                                    frank1234
memcached
                                    
    一、简介 
高性能的架构离不开缓存，分布式缓存中的佼佼者当属memcached，它通过客户端将不同的key hash到不同的memcached服务器中，而获取的时候也到相同的服务器中获取，由于不需要做集群同步，也就省去了集群间同步的开销和延迟，所以它相对于ehcache等缓存来说能更好的支持分布式应用，具有更强的横向伸缩能力。 
二、客户端 
选择一个memcached客户端，我这里用的是memc
    
                                
    • 
                                
  • Search in Rotated Sorted Array II
                                    hcx2013
search
                                    
    Follow up for "Search in Rotated Sorted Array":What if duplicates are allowed? 
Would this affect the run-time complexity? How and why? 
Write a function to determine if a given ta
    
                                
    • 
                                
  • Spring4新特性——更好的Java泛型操作API
                                    jinnianshilongnian
spring4generic type
                                    
    Spring4新特性——泛型限定式依赖注入 
Spring4新特性——核心容器的其他改进 
Spring4新特性——Web开发的增强 
Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  
Spring4新特性——Groovy Bean定义DSL 
Spring4新特性——更好的Java泛型操作API  
Spring4新
    
                                
    • 
                                
  • CentOS安装JDK
                                    liuxingguome
centos
                                    
    1、行卸载原来的： 
[root@localhost opt]# rpm -qa | grep java 
tzdata-java-2014g-1.el6.noarch 
java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64 
java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86_64 
[root@localhost
    
                                
    • 
                                
  • 二分搜索专题2-在有序二维数组中搜索一个元素
                                    OpenMind
二维数组算法二分搜索
                                    
    1,设二维数组p的每行每列都按照下标递增的顺序递增。 
用数学语言描述如下：p满足 
(1),对任意的x1，x2，y，如果x1<x2,则p(x1,y)<p(x2,y); 
(2),对任意的x，y1,y2, 如果y1<y2,则p(x,y1)<p(x,y2); 
2,问题： 
给定满足1的数组p和一个整数k，求是否存在x0,y0使得p(x0,y0)=k? 
3,算法分析： 
(
    
                                
    • 
                                
  • java 随机数 Math与Random
                                    SaraWon
javaMathRandom
                                    
    今天需要在程序中产生随机数，知道有两种方法可以使用，但是使用Math和Random的区别还不是特别清楚，看到一篇文章是关于的，觉得写的还挺不错的，原文地址是 
http://www.oschina.net/question/157182_45274?sort=default&p=1#answers 
 
产生1到10之间的随机数的两种实现方式： 
 

//Math
Math.roun
    
                                
    • 
                                
  • oracle创建表空间
                                    tugn
oracle
                                    
    create temporary tablespace TXSJ_TEMP   
tempfile 'E:\Oracle\oradata\TXSJ_TEMP.dbf'   
size 32m   
autoextend on   
next 32m maxsize 2048m   
extent m
    
                                
    • 
                                
  • 使用Java8实现自己的个性化搜索引擎
                                    yangshangchuan
javasuperword搜索引擎java8全文检索
                                    
    需要对249本软件著作实现句子级别全文检索，这些著作均为PDF文件，不使用现有的框架如lucene，自己实现的方法如下： 
1、从PDF文件中提取文本，这里的重点是如何最大可能地还原文本。提取之后的文本，一个句子一行保存为文本文件。 
2、将所有文本文件合并为一个单一的文本文件，这样，每一个句子就有一个唯一行号。 
3、对每一行文本进行分词，建立倒排表，倒排表的格式为：词=包含该词的总行数N=行号
    
                                
    •