Kafka集群调优

深入剖析：Unix 系统管理的高级实践与技巧

一、系统性能优化：从监控到调优1.性能监控：识别瓶颈性能优化的第一步是监控系统，找出瓶颈所在。Unix提供了一些强大的
Echo_Wish·2025-01-20 08:53

新一代实时神器-Fluss初识及部署

在作者看来，其实Fluss目前的主要替换者是Kafka，它的出现也是为了替换kafka在实时数仓链路中
本旺·2025-01-20 06:01

Fluss安装体验

https://mirrors.aliyun.com/apache/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz1.1.1zk集群规划
WYRM_GOLD·2025-01-20 05:27

【JVM-9】Java性能调优利器：jmap工具使用指南与应用案例

在Java应用程序的性能调优和故障排查中，jmap（JavaMemoryMap）是一个不可或缺的工具。
AllenBright·2025-01-20 04:19

Hadoop 和 Spark 的内存管理机制分析

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-20 03:27

Sealos 将计算节点加入 kubeadm 安装的 Kubernetes 集群

引言Kubernetes是云原生应用的核心平台，而kubeadm是官方推荐的Kubernetes集群部署工具。然而，随着集群规模的扩大，手动管理节点变得越来越复杂。
ivwdcwso·2025-01-20 02:22

Spark Livy 指南及livy部署访问实践

ApacheSpark是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark作业提交到集群上去执行
house.zhang·2025-01-19 22:40

大数据学习（四）：Livy的安装配置及pyspark的会话执行

一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。
猪笨是念来过倒·2025-01-19 21:08

kafka

Kafka学习之路Kafka必知必会kafka核心原理go操作kafka消息队列之-KafkaKafka分区分配策略或(https://blog.csdn.net/u013256816/article/
宋song一·2025-01-19 20:28

揭秘 Fluss 架构组件

Fluss部署，带领大家部署Fluss环境，体验一下Fluss的功能Fluss整合数据湖的操作，体验Fluss与数据湖的结合讲解了Fluss、Kafka、Paimon之间的区别和联系前面三篇文章可以让大家上手玩起来
·2025-01-19 19:57

【赵渝强老师】PostgreSQL的数据库

PostgreSQL的逻辑存储结构主要是指数据库中的各种数据库对象，包括：数据库集群、数据库、表、索引、视图等等。
·2025-01-19 19:56

【赵渝强老师】PostgreSQL的数据库集群

PostgreSQL的逻辑存储结构主要是指数据库中的各种数据库对象，包括：数据库集群、数据库、表、索引、视图等等。
·2025-01-19 19:25

Apache Doris安装部署

目录Doris简介Doris安装包下载JDK安装Doris安装单机部署安装部署规划创建用户解压安装包配置FE配置BE启动FE和BE连接Doris集群添加BE节点修改root和admin用户的密码创建数据库和数据表停止
ErbaoLiu·2025-01-19 19:47

【赵渝强老师】Kubernetes中Pod的探针

在K8s集群中，当Pod处于运行状态时，kubelet通过使用探针（Probe）对容器的健康状态执行检查和诊断。Kubernetes支持的三种类型的探针。
·2025-01-19 18:48

doris 安装部署

FE：存储和维护集群的元数据，负责接收和解析用户的查询请求，规划查询计化，调度查询结果，FE主要分为三个角色：Leader、Follower、ObserverLeader和Follower主要是用来实现
猫猫姐·2025-01-19 18:13

深入探讨Kafka：架构、实现原理与开发实践

深入探讨Kafka：架构、实现原理与开发实践ApacheKafka是一个高性能的分布式流处理平台，广泛应用于实时数据处理、日志收集、消息发布/订阅等领域。
Ceramist·2025-01-19 18:41

如何搭建K8S集群

目录一、环境规划二、环境准备2.1搭建流程概述：2.2安装环境准备2.2.1升级系统内核2.2.2设置主机名和hosts本地解析2.2.3关闭防火墙和SELinux2.2.4时间同步2.2.5关闭swap分区2.2.6将桥接的IPv4流量传递到iptables链2.2.7开启ipvs2.2.8重启机器2.3容器化环境和组件安装2.3.1Docker安装2.3.2设置Docker镜像加速器：2.3.
江湖风云令·2025-01-19 18:09

9.kafka单实例安装

1.环境信息OSVersionZookeeperVersionUserRHEL7.73.8.0rootkafka官网下载地址：ApacheKafka备注：与在同一台服务器。
小黑要上天·2025-01-19 16:19

【赵渝强老师】PostgreSQL的物理存储结构

PostgreSQL在执行initdb的数据库集群初始化时会指定一个目录。该目录通过环境变量$PGDATA来表示。当数据库集群初始化完成后，会在这个目录生成相关的子目录以及一些文件。
·2025-01-19 15:11

python 清空表格_python 清空表数据库表

《Greenplum5.0最佳实践》迁移数据使用Gptransfer使用Gptransfer命令迁移一个Greenplum数据库集群中的数据到另一台集群(metradata,data)gptransfer
weixin_39989190·2025-01-19 13:57

构建高效GPU算力平台：挑战、策略与未来展望

当前挑战算力分配与资源优化在多用户共享GPU集群的环境下，合理分配计算资源并确保每个任务能够高效运行是一项挑战。这不仅涉及到硬件资
Mr' 郑·2025-01-19 11:43

Shardingsphere-Proxy 5.5.0数据迁移

Shardingsphere-Proxy5.5.0数据迁移Shardingsphere系列目录：背景配置集群部署搭建Zookeeper修改shardingsphere-proxy配置重启shardingsphere-proxy
她又在丛中笑·2025-01-19 10:35

hive小文件合并机制_hive小文件的问题弊端以及合并

中每个文件的元数据信息，包括位置大小分块信息等，都保存在NN内存中，在小文件数较多的情况下，会造成占用大量内存空间，导致NN性能下降；2、在读取小文件多的目录时，MR会产生更多map数，造成GC频繁，浪费集群资源
做生活的创作者·2025-01-19 08:49

【MongoDB 分片集群架构详解】

MongoDB分片集群架构详解MongoDB分片集群架构详解1.分片简介1.1为什么要使用分片1.2垂直扩容（ScaleUp）VS水平扩容（ScaleOut）2.分片集群架构2.1核心概念2.1.1数据分片
从你 全世界 路过·2025-01-19 08:48

Zookeeper 数据迁移实战：基础环境搭建与高效迁移方案全览

文章目录一、Zookeeper数据迁移简介二、迁移zookeeper数据基础环境三、利用快照迁移zookeeper数据1、Node1最新的zk快照文件和日志文件2、将被迁移方node2的zookeeper的集群全部
磐基Stack专业服务团队·2025-01-19 08:43

Nacos深度剖析：配置及高可用方案全攻略

全局参数1.2Naming模块参数1.3Config模块参数1.4CMDB模块参数第2章NacosClient配置参数2.1通用参数2.2Naming客户端2.3Config客户端第3章Nacos单机与集群
磐基Stack专业服务团队·2025-01-19 08:43

Kafka面试夺命连环30问（一）

1、kafka消息发送的流程？Producer创建并配置。发送消息，消息被序列化，并通过配置的分区规则决定发送的分区。Producer发送请求，通过网络将消息发送到相应的Broker。
知否&知否·2025-01-19 07:36

docker部署ELK日志系统+kafka

docker部署ELK日志系统+kafka1.部署elasticsearch#拉取镜像dockerpullelasticsearch:7.6.2#创建文件夹mkdir-p/data/elk/es/config
weixin_50837690·2025-01-19 04:08

Mysql----高可用集群

减轻单台服务器的访问压力同时实现数据的备份缺点：读写分离服务器主数据库从数据库都存在单点故障问题分库分表解决是的大量并发存储数据的存储压力问题和存储空间问题缺点：分片存储服务器有单点故障问题没有数据备份的功能(mysql高可用集群
晗光HG·2025-01-19 04:07

Mysql数据库高可用群集

1.1Master11.2Master22.再做主主2.1Master12.2Master23.安装Keepalived3.1Master1配置文件3.2Master2配置文件4.编写Mysql_check.sh服务检测脚本四、测试集群是否搭建成功五
一坨小橙子ovo·2025-01-19 03:51

Yarn工作机制？思维导图 代码示例（java 架构)

YARN工作机制YARN（YetAnotherResourceNegotiator）是Hadoop生态系统中的资源管理和调度框架，它负责管理集群中的所有资源，并为应用程序提供调度服务。
用心去追梦·2025-01-19 02:17

基于docker微服务日志ELK+Kafka搭建

ELK是Elasticsearch、Logstash、Kibana的简称Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVAAPI等结构提供高效搜索功能，可扩展的分布式系统。它构建于ApacheLucene搜索引擎库之上。Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程
我是奶龙！我是奶龙！我是奶龙！·2025-01-19 02:16

使用 Hadoop 实现大数据的高效存储与查询

博客内容包括：Java核心技术与微服务：涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等，帮助您全面掌握企业级开发技术。
王子良.·2025-01-18 23:24

单体式架构，集群，分布式架构有什么区别

编译和启动的速度会变慢2.代码冲突3.单个数据库存储能力有限4.很难在进行扩展虽然有缺点，但是他肯定还是有自己的优点的优点1.开发测试简单部署方便2.扩容简单，给应用加机器就可以由于单体架构的缺点，逐渐出现了集群集群集群就是当单体架构
highfish920·2025-01-18 23:52

Flink 使用 Kafka 作为数据源时遇到了偏移量提交失败的问题

具体的错误日志21:43:57.069[KafkaFetcherforSource:CustomSource->Map->Filter(1/1)#2]ERRORorg.apache.kafka.clients.consumer.internals.ConsumerCoordinator
java我跟你拼了·2025-01-18 23:19

K8s组件全解析，你需要知道的一切秘密

K8s的基本架构围绕着集群、节点和Pod等概念构建。一
master_chenchengg·2025-01-18 22:42

超全性能调优标准制定指南，你一定不能错过！

0前言我有个朋友说他们国企的系统从未性能调优，功能测试完就上线，线上也没性能问题，何必还做性能调优？本文搞清：为什么要做性能调优？啥时开始做？做性能调优是不是有标准？1为啥做性能调优？
·2025-01-18 22:50

单体架构、集群架构和分布式架构概述

单体架构、集群架构和分布式架构概述在现代系统架构和开发过程中，单体架构、集群架构和分布式架构是三个常见且关键的概念。本文将详细介绍这些技术的相关概念，并探讨它们之间的联系与区别。
JoyousHorse·2025-01-18 21:01

kafka+connector集群迁移

示例环境ip部署信息备注192.168.181.121zookeeper、kafka、connecter待迁移集群节点1192.168.181.14zookeeper、kafka、connecter待迁移集群节点
mark.meng·2025-01-18 20:47

keepalived+haproxy实现高可用集群

实验环境172.16.32.21172.16.32.22Vip:172.16.32.301.部署httpd测试服务yuminstallhttpdecho"172.16.32.22">>/var/www/html/id.htmlsystemctlstarthttpdcurl172.16.32.22/id.html172.16.32.222.部署haproxy实现负载均衡yuminstallhapro
mark.meng·2025-01-18 20:17

【Python篇】深入机器学习核心：XGBoost 从入门到实战

2.1梯度提升简介3.安装XGBoost4.数据准备4.1加载数据4.2数据集划分5.XGBoost基础操作5.1转换为DMatrix格式5.2设置参数5.3模型训练5.4预测6.模型评估7.超参数调优
半截诗·2025-01-18 19:06

使用java代码消费kafka数据

首先创建maven项目，导入jar包org.apache.kafkakafka-clients3.0.0org.slf4jslf4j-log4j121.7.25示例一：使用java代码消费kafka所有数据
二进制_博客·2025-01-18 19:34

Nginx 集群测试

在Nginx集群的部署和维护过程中，为了确保系统的高可用性、性能和扩展性，必须进行全面的测试。
小馋喵知识杂货铺·2025-01-18 18:02

Linux 系统性能调优

嘿，朋友们，今天咱们来唠唠Linux系统性能调优这事儿。你是不是觉得这听起来特高大上、特复杂？别担心，我保证用最简单的语言，让你这个0基础的小伙伴也能轻松入门。
周盛欢·2025-01-18 18:55

集群间hive数仓迁移

方式一：(此方法需要建库建表)第一步：建库建表在原集群hive上查看迁移表的建表语句及所在库，然后在新集群hive上建库建表；showcreatetabletb_name;createdatabasedb_name
one code·2025-01-18 17:15

【大数据学习 | kafka】kafka的组件架构

broker:每个kafka的机器节点都会运行一个进程，这个进程叫做broker，负责管理自身的topic和partition，以及数据的存储和处理，因为kafka是集群形式的，所以一个集群中会存在多个
Vez'nan的幸福生活·2025-01-18 10:30

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis（已更完）Kafka
武子康·2025-01-18 10:29

Springboot项目如何消费Kafka数据

目录一、引入依赖二、添加Kafka配置三、创建Kafka消费者（一）Kafka生产的消息是JSON字符串1、方式一2、方式二：需要直接访问消息元数据（二）Kafka生产的消息是对象Order四、创建启动类五
布朗克168·2025-01-18 10:25

keepalived 、HAProxy

KeepAlived高可用集群配置高可用的web集群监控本机80端口，实现主备切换实现原理实施配置高可用、负载均衡的web集群配置高可用、负载均衡HAProxy配置haproxy负载均衡调度器比较LVS
www.农民工·2025-01-18 10:53

Kubernetes Service负载均衡机制

当一个Service对象在Kubernetes集群中被定义出来时，集群内的客户端应用就可以通过服务IP访问到具体的Pod容器提供的服务了。
蓝颜～岁月·2025-01-18 09:52
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他