#kafka调优

Springboot 集成KafkaAdmin

基础知识点(256条消息)看完这篇Kafka，你也许就会了Kafka_心的步伐的博客-CSDN博客需要注意消费者offset的配置，生产者ackdocker安装kafka和zookeeper记得修改ip
试验者·2024-02-07 20:10

JVM垃圾回收机制及JVM调优

垃圾回收算法标记复制算法：将内存分为两块，将存活的对象标记，按顺序复制到另一块空的内存然后清除没被标记的内存。空间利用率小，内存空间连续。标记清除算法：将存活的对象标记，删除未被标记的对象（也可以反过来）。对象多的话，效率低，内存空间不连续。标记整理算法：将存活的对象标记，将标记的对象向一端移动，然后将端的末端位置之后的对象全部删除。垃圾收集器1、serial收集器：单线程收集器，收集过程中会ST
阿柄666·2024-02-07 20:03

JVM相关-JVM模型、垃圾回收、JVM调优

一、JVM模型JVM内部体型划分JVM的内部体系结构分为三部分，分别是：类加载器（ClassLoader）子系统、运行时数据区（内存）和执行引擎1、类加载器概念每个JVM都有一个类加载器子系统（classloadersubsystem），JVM的类加载器包括：用户自定义类加载器、应用类加载器、拓展类加载器、启动类加载器启动类加载器（BootstrapClassLoader）非java语言实现作用：
热心邻居老王·2024-02-07 20:32

JVM调优-调优原则与思路

一、实施过程中的原则在调优之前，我们需要记住下面的原则：1、在应用上线之前，先考虑将机器的JVM参数设置到最优（最适合）。2、多数导致GC问题的Java应用，都不是因为我们参数设置错误，而是代码问题。
SIMON QIU·2024-02-07 20:32

相机图像质量研究(9)常见问题总结：光学结构对成像的影响--工厂镜头组装

系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台调优介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结：光学结构对成像的影响--焦距相机图像质量研究
上天肖·2024-02-07 20:30

相机图像质量研究(5)常见问题总结：光学结构对成像的影响--景深

系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台调优介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结：光学结构对成像的影响--焦距相机图像质量研究
上天肖·2024-02-07 20:00

相机图像质量研究(7)常见问题总结：光学结构对成像的影响--镜片固化

系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台调优介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结：光学结构对成像的影响--焦距相机图像质量研究
上天肖·2024-02-07 20:00

相机图像质量研究(8)常见问题总结：光学结构对成像的影响--工厂调焦

系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台调优介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结：光学结构对成像的影响--焦距相机图像质量研究
上天肖·2024-02-07 20:00

相机图像质量研究(4)常见问题总结：光学结构对成像的影响--焦距

系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台调优介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结：光学结构对成像的影响--焦距相机图像质量研究
上天肖·2024-02-07 20:59

相机图像质量研究(6)常见问题总结：光学结构对成像的影响--对焦距离

系列文章目录相机图像质量研究(1)Camera成像流程介绍相机图像质量研究(2)ISP专用平台调优介绍相机图像质量研究(3)图像质量测试介绍相机图像质量研究(4)常见问题总结：光学结构对成像的影响--焦距相机图像质量研究
上天肖·2024-02-07 20:58

Linux 的性能调优的思路

Linux操作系统是一个开源产品，也是一个开源软件的实践和应用平台，在这个平台下有无数的开源软件支撑，我们常见的apache、tomcat、mysql等。开源软件的最大理念是自由、开放，那么Linux作为一个开源平台，最终要实现的是通过这些开源软件的支持，以最低廉的成本，达到应用最优的性能。因此，谈到性能问题，主要实现的是Linux操作系统和应用程序的最佳结合。01、性能问题综述系统的性能是指操作
咖啡加剁椒.·2024-02-07 19:57

Kafka整理

常用消息中间件对比Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache定级项目。
瑜骐·2024-02-07 19:08

4、Kafka消费者-从Kafka读取数据

（2）Kafka两种模型提供单一消费者模型：消费者组。消费者用组名标记自己。Topic上消息发给此组中一个消费者。1）所有消费者在一个组中，变成队列。2）不同的组中，变成发布-订阅。
hedgehog1112·2024-02-07 19:04

【MySQL进阶之路】MySQL部署后一定记得先压测！

部署后的压测在选好数据库的硬件配置之后，如果在比较规范化的公司中，会交给专业的DBA进行MySQL数据库的部署，DBA就会根据以往的经验，使用MySQL生产调优的参数模板去部署MyS
11来了·2024-02-07 18:37

日志收集系统ELK+kafka部署

日志收集系统ELK+kafka部署文章目录日志收集系统ELK+kafka部署一、系统准备1.1部署简介1.2升级内核1.3内核优化1.4安装NTP服务1.5关闭swap分区二、部署ISCSI2.1配置数据网络
MappleZF·2024-02-07 13:47

2020-11-23

Kafka-server启动报错ERRORProcessorgotuncaughtexception.ERRORProcessorgotuncaughtexception.
北大荒码农·2024-02-07 12:33

每天100w次登录请求，4C8G机器:如何做JVM调优?

作者简介：大家好，我是小徐☁️博客首页：CSDN主页小徐的博客每日一句：好学而不勤非真好学者欢迎大家关注！❤️首先，我们需要问清楚一天100W次的登录，在一天内有没有某个时段是高峰的?高峰期的QPS大概可以达到多少。如果没有高峰期，虽然100万听上去挺多的，但是其实平均下来一秒钟的QPS也就10，这个量的话，其实根本不需要做什么特别的IM优化。一般业务场景中，都是有自己的业务高峰期的，比如电商业务
小徐很努力·2024-02-07 11:41

JVM调优工具

本次介绍一下在排查问题以及JVM调优的时候，常用的一些工具。1.示例项目首先创建一个示例项目，用于演示工具的使用。
逍遥白亦·2024-02-07 10:05

【极数系列】ClassNotFoundException: org.apache.flink.connector.base.source.reader.RecordEmitter & 详细分析解决

文章目录01Flink集成KafkaConnector运行报错02解决方案03原因分析04深入认识4.1flink-connector-base简介概述4.2flink-connector-base功能作用
浅夏的猫·2024-02-07 10:11

【Kafka专栏】windows搭建Kafka环境 & 详细教程（01）

文章目录01引言1.1官网地址1.2概述简介1.3kafka与zookeeper02部署zookeeper2.1下载组件包2.2解压压缩包（1）解压到任意路径（2）解压后的目录创建数据目录data2.3
浅夏的猫·2024-02-07 10:41

【极数系列】Flink集成KafkaSource & 实时消费数据（10）

文章目录01引言02连接器依赖2.1kafka连接器依赖2.2base基础依赖03连接器使用方法04消息订阅4.1主题订阅4.2正则表达式订阅4.3Partition列分区订阅05消息解析06起始消费位点
浅夏的猫·2024-02-07 10:41

【极数系列】Flink集成KafkaSink & 实时输出数据（11）

文章目录01引言02连接器依赖2.1kafka连接器依赖2.2base基础依赖03使用方法04序列化器05指标监控06项目源码实战6.1包结构6.2pom.xml依赖6.3配置文件6.4创建sink作业
浅夏的猫·2024-02-07 10:37

线程池的实现原理以及使用

线程是稀缺资源，如果无限制地创建，不仅会消耗系统资源，还会降低系统的稳定性，使用线程池可以进行统一的分配，调优和监控。线程池的使用线程池的创建我们可以通过ThreadPoolExec
胖瘦馒头·2024-02-07 10:22

Redis（十二）Bigkey

文章目录游标案例生成100万测试数据key生产上限制keys*/flushdb/flushall等危险命令不使用keys*：scanBiigkey案例多大算大发现bigkey渐进式删除生产调优示例问题游标案例生成
Lucky_Turtle·2024-02-07 10:27

使用debezuim，实现PG同步Oracle

1.对于bytea类型，debezuim发给kafka的是一个很短的奇怪字符串。使用wal2json直接decode出来的，是完整的数据，但是到了debezuim，就只有很短的字符串了。
howard_shooter·2024-02-07 10:25

Doris中的本地routineload环境，用于开发回归测试用例

----------------2024-2-6-更新--------------doris的routineload，就是从kafka中加载数据到表，特点是定时、周期性的从kafka取数据。
howard_shooter·2024-02-07 10:24

大数据命令，一文在手，全部都有（送纯净版文档）

比如linux，kafka命令就比较多，hdfs操作也多。但是对于HBase.....这类框架命令比较少，就不再本篇展示。望周知。其中内容包含以下，具体命令会一一介绍。
大数据左右手·2024-02-07 09:35

scikit-learn决策树算法笔记总结

1.scikit-learn决策树算法类库介绍scikit-learn决策树算法类库内部实现是使用了调优过的CART树算法，既可以做分类，又可以做回归。
python收藏家·2024-02-07 09:01

ELK日志系统技术架构

问题和挑战：主要配置1.ES集群中所有节点使用虚拟机2.索引按照天生成3.数据节点负责数据的索引4.通过Nginx将用户的检索请求负载在数据节点运行状况部分索引节点负载非常高2.索引速度非常慢，经常出现Kafka
leo_hush·2024-02-07 09:58

spring cloud stream

链接:支持的中间件后文使用kafka测试。
此剑之势丶愈斩愈烈·2024-02-07 08:56

flink soruce详解

flink自定义数据源需要实现SourceFunction，内置的SourceFunction实现类有：SocketTextStreamFunction、FromElementsFunction、FlinkKafkaConsumer
loukey_j·2024-02-07 08:16

JVM 性能调优 - 常用的垃圾回收器(6)

垃圾收集器在JVM（Java虚拟机）中，垃圾收集器（GarbageCollector）是负责自动管理内存的组件。它的主要任务是在程序运行过程中，自动回收不再使用的对象所占用的内存空间，以便为新的对象提供足够的内存。JVM中的垃圾收集器使用不同的算法和策略来实现垃圾收集过程，以满足不同的性能和内存需求。以下是JVM中常见的垃圾收集器：Serial收集器：是最古老的垃圾收集器，使用单线程进行垃圾收集。
magic_kid_2010·2024-02-07 08:20

JVM 性能调优- 五种内存溢出(5)

在介绍之前先简单介绍下直接内存（DirectMemory）和堆内存（HeapMemory）：关系：直接内存并不是Java虚拟机的一部分，它是通过Java的NIO库中的ByteBuffer来分配和管理的。直接内存通常由操作系统的本地内存（NativeMemory）提供支持。堆内存是Java虚拟机的一部分，用于存储Java对象。堆内存由Java虚拟机的堆内存分配器来分配和管理。区别：分配方式：直接内存
magic_kid_2010·2024-02-07 08:50

JVM——一个神圣的话题，可远观而不可亵玩焉

文章目录一切不仅仅为了面试JVM调优理解JVM调什么：怎么调：为了解决什么问题：正常情况下需要调吗：JVM垃圾收集器区分垃圾收集方式垃圾收集的区域划分：按照收集垃圾的线程数量划分：对空间的利用率划分：垃圾收集器详细介绍
苏汀star·2024-02-07 08:53

Python自动化机器学习库之evalml使用详解

然而，构建和部署机器学习模型常常需要大量的时间和精力，涉及到数据预处理、特征工程、模型选择、超参数调优等一系列复杂任务。为了简化这个过程，使其更加高效，EvalML库应运而生。
Rocky006·2024-02-07 07:42

Spring Cloud OpenFeign进阶实战

这样可以设置连接池，超时时间等对服务之间的调用调优。下面介绍使用HttpClient和Okhttp替换Feign默认的Client
NullzzZ·2024-02-07 07:24

Spring Cloud Netflix Eureka的参数调优

下面主要分为Client端和Server端两大类进行简述，Eureka的几个核心参数客户端参数Client端的核心参数参数默认值说明eureka.client.availability-zones告知Client有哪些region以及availability-zones，支持配置修改运行时生效eureka.client.filter-only-up-instancestrue是否过滤出Instan
NullzzZ·2024-02-07 07:48

一文搞懂Kafka中的listeners配置策略

客户端通过哪个端口连接到kafka，通过9092连接的是什么，broker还是controller？为controller配置了单独的端口有什么用？control.plane.listener
程序饲养员·2024-02-07 07:15

如何为Kafka加上账号密码（一）

Kafka认证基本概念一直以来，我们公司内网的Kafka集群都是在裸奔，只要知道端口号，任何人都能连上集群操作一番。直到有个主题莫名消失，才引起我们的警觉，是时候该考虑为它添加一套认证策略了。
程序饲养员·2024-02-07 07:12

通义灵码——灵动指间，快码加编，你的智能编码助手

是阿里云出品的一款基于通义大模型的智能编码辅助工具，提供行级/函数级实时续写、自然语言生成代码、单元测试生成、代码优化、注释生成、代码解释、研发智能问答、异常报错排查等能力，并针对阿里云的云服务使用场景调优
阿里云云原生·2024-02-07 06:20

同是ZooKeeper，你和架构师的理解差在哪里？

Dubbo，Kafka,Hadoop等等项目里都能看到它的影子。但是你真的了解ZooKeeper吗？如果面试官让你给他讲讲ZooKeeper是个什么东西，你能回答到什么地步呢？
l鹿狸i·2024-02-07 06:12

Kafka下载（kafka和jdk、zookeeper、SpringBoot的版本对应关系）

文章目录一、准备工作1、必须环境2、kafka使用自带的zookeeper还是自己单独部署zookeeper？
kimi-001·2024-02-07 06:46

kafka 文件存储机制

1.1topic中partition存储分布：1.2partiton中文件存储方式：1.3partiton中segment文件存储结构：1.4在partition中如何通过offset查找message:2.kafka
@lihewei·2024-02-07 06:14

Kafka 生产调优

Kafka生产调优文章目录Kafka生产调优一、Kafka硬件配置选择场景说明服务器台数选择磁盘选择内存选择CPU选择二、KafkaBroker调优Broker核心参数配置服役新节点/退役旧节点增加副本因子调整分区副本存储三
@lihewei·2024-02-07 06:40

springboot集成kafka

1、先解决依赖springboot相关的依赖我们就不提了，和kafka相关的只依赖一个spring-kafka集成包12345org.springframework.kafkaspring-kafka1.1.1
醉生浮屠·2024-02-07 06:10

【Flink】SQL-CLIENT中出现 Could not find any factory for identifier ‘kafka‘

CouldnotexecuteSQLstatement.Reason:org.apache.flink.table.api.ValidationException:Couldnotfindanyfactoryforidentifier'kafka'thatimplements'org.a
一杯咖啡半杯糖·2024-02-07 06:40

【Flink】FlinkSQL实现数据从Kafka到MySQL

本博客在sql-client中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Kafka传输到MySQL具体操作，这个在生产开发中比较常用，通常生产用kafka作为数据的输入
一杯咖啡半杯糖·2024-02-07 06:39

面试复盘7——后端开发

（有无字段提取如何）有字段提取的实际，从kafka中提取出来来源的信息、目标的信息。（解析json绑定到结构体）原始存的消息和Mysql存的都是json格式。Pb+w
Climber47·2024-02-07 05:40

Spring Boot 集成 Kafka

1.导入依赖  org.springframework.kafka  spring-kafka2.在application.yml中配置kafkaspring: #kafka kafka:  bootstrap-servers
羁客%·2024-02-07 03:30

Spring Boot整合Kafka

Kafka是一个分布式的、可分区的、可复制的消息系统，下面是Kafka的几个基本术语：Kafka将消息以topic为单位进行归纳；将向Kafkatopic发布消息的程序成为producers；将预订topics
一只倔强的蜗牛·2024-02-07 03:56
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他