不重启kafka集群第53页

easy-upsert-starter 轻量级数据转换存储服务-MySQL使用(二)

easy-upsert-starter轻量级数据转换存储服务简介：针对轻量级数据(单次包数据量10万)处理，提供数据转移存储到MySQL、Kafka、ES、HBase、Redis配置相应的数据源，注入IUpser

还在忙碌的吴小二·2024-01-27 09:46

Kafka-服务端-PartitionStateMachine

PartitionStateMachine是ControllerLeader用于维护分区状态的状态机。分区的状态是通过PartitionState接口定义的，它有四个子类分别代表了分区四种可能的状态，如表所示。分区各个PartitionState之间的转换如图所示。下面分析各个状态之间转换时，需要完成的相关操作。NonExistentPartition→NewPartition从ZooKeeper

Andy技术支援·2024-01-27 08:53

知识库-kafka shell脚本用法

脚本名称用途描述connect-distributed.sh连接kafka集群模式connect-standalone.sh连接kafka单机模式kafka-acls.shtodokafka-broker-api-versions.shtodokafka-configs.sh

知秋ing·2024-01-27 08:52

shell脚本--kafka生产数据

直接上代码kafka参数修改成自己的配置。#!

手提青灯觅佳人·2024-01-27 08:52

Kafka zookeeper-shell.sh

bin/zookeeper-shell.sh作用是连接zookeeper，并通过命令查询注册的信息，本质上就是zookeeper的语法。bin/zookeeper-shell.shzookeeper_host:port[/path][args…]args参数类型如下statpath[watch]setpathdata[version]lspath[watch]delquota[-n|-b]path

云川之下·2024-01-27 08:18

Kube-Prometheus 手动部署

Kube-Prometheus手动部署使用PrometheusOperator监控Kubernetes集群（PrometheusOperator已改名为Kube-Prometheus）注意：Prometheus-operator

南宫乘风·2024-01-27 08:46

Kube-Prometheus 监控Ingress实战

Kube-Prometheus监控IngressKube-Prometheus是一个在Kubernetes上运行的Prometheus堆栈，它提供了一种方便的方式来监控你的Kubernetes集群。

南宫乘风·2024-01-27 08:46

【shell-10】shell实现的各种kafka脚本

kafka-shell工具背景日志log一.启动kafka->(start-kafka)二.停止kafka->(stop-kafka)三.创建topic->(create-topic)四.删除topic

我先森·2024-01-27 08:41

大数据左右手·2024-01-27 08:09

03-Redis缓存高可用集群

文章目录1、Redis集群方案比较2、Redis高可用集群搭建redis集群搭建Java操作redis集群4、Redis集群原理分析槽位定位算法跳转重定位Redis集群节点间的通信机制gossip通信的

野心与梦·2024-01-27 08:39

金融行业现场故障处理实录

（1）、查看系统日志；（2）、查看ha日志，/etc/cluster下各日志文件；（3）、clustat查看集群状态，提示cman未运行；（4）、查看集群配置文件/etc/cluster.conf;（5

4/5$全真龙门·2024-01-27 08:37

JVM系列-8.GC调优

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话

爱吃芝士的土豆倪·2024-01-27 08:06

SpringBoot中集成XXL-JOB分布式任务调度平台,轻量级、低侵入实现定时任务

页面对任务进行CRUD操作，操作简单，一分钟上手；2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效；3、调度中心HA（中心式）：调度采用中心式设计，“调度中心”自研调度组件并支持集群部署

霸道流氓气质·2024-01-27 08:02

JVM系列-7内存调优

作者简介：大家好，我是爱吃芝士的土豆倪，24届校招生Java选手，很高兴认识大家系列专栏：Spring原理、JUC原理、Kafka原理、分布式技术原理、数据库技术、JVM原理如果感觉博主的文章还不错的话

爱吃芝士的土豆倪·2024-01-27 08:32

Oracle RAC 集群的安装（保姆级教程）

文章目录一、安装前的规划1、系统规划2、网络规划3、存储规划二、主机配置1、Linux主机安装（rac01&rac02）2、配置yum源并安装依赖包（rac01&rac02）3、网络配置（rac01&rac02）4、存储配置（rac01&rac02）rac01添加硬盘的方式：rac02添加硬盘的方式：开启共享文件修改虚拟机配置文件安装`multipath`绑定多路径：配置UDEV绑盘：5、host

不会编程的喵星人·2024-01-27 08:53

0806-Kafka异地复制

Kafka异地同步：Mirror-Maker（消费者+生产者）原理大概是启动consumer消费南京的topicmessage，发送到重庆的kafka集群。

红苹果_小米粒·2024-01-27 08:04

架构篇27：如何设计计算高可用架构？

文章目录主备主从集群小结计算高可用的主要设计目标是：当出现部分硬件损坏时，计算任务能够继续正常运行。因此计算高可用的本质是通过冗余来规避部分故障的风险，单台服务器是无论如何都达不到这个目标的。

星猿杂谈·2024-01-27 08:35

使用Minikube管理k8s集群

在Linux系统中，你可以创建一个临时用户，这个用户在一段时间后会自动删除。然而，这通常需要一些额外的配置，并且不是所有的Linux发行版都直接支持这个功能。如果你只是想要一个只在当前会话中存在的用户，你可以使用useradd或adduser命令创建一个新用户，然后在你完成你的工作后手动删除这个用户。例如，以下命令会创建一个新用户叫做tempuser：sudouseraddtempuser然后你可

super_journey·2024-01-27 07:02

计算机操作系统下一波浪潮

现在是人工智能时代，为了应对海量的算力需求，需要支持超大规模集群计算和管理能力的操作系统，来解决从硬

LAXCUS分布式操作系统·2024-01-27 07:27

聚类分析 | 最优K-means聚类算法（Python）

这意味着我们要多次进行聚类，每次使用不同数量的集群，并评估相应的结果。虽然这种技术很有用，但它也有局限性。yellowbrick是一个常用的工具，可以轻松识别最优集群的数量。然而，它也有一些缺点。一

天天酷科研·2024-01-27 07:21

Hadoop增加新节点环境配置（自用）

完成Hadoop集群增添一个新的节点配置（文中命名为）Hadoop106，没有进行继续为该节点分配身份职能的步骤1.在VMware中安装CentOS7新建虚拟机1.

革斤要加油·2024-01-27 07:50

Redis 知识梳理

扩展瓶颈：数据关系复杂，扩展性差，不利于大规模集群。0.1Redis的优势内

冒泡小金鱼·2024-01-27 07:06

ElasticSearch集群灾难：别放弃，也许能再抢救一下 | 京东云技术团队

1前言Elasticsearch作为一个分布式搜索引擎，自身是高可用的；但也架不住一些特殊情况的发生，如：集群超过半数的master节点丢失，ES的节点无法形成一个集群，进而导致集群不可用；索引shard

京东云技术团队·2024-01-27 07:02

Redis创建集群

主要内容搭建redis集群能力目标搭建redis集群一应用场景为什么需要redis集群？当主备复制场景，无法满足主机的单点故障时，需要引入集群配置。

yangyang丫·2024-01-27 07:17

RabbitMQ Federation 插件使用

要使用Federation插件，需要在两个集群都开启Federation插件，并且在downstream集群创建Federation，配置upstream。使用场景将多个集群的消

金甲虫Scarb·2024-01-27 07:14

Flink 集成 Debezium Confluent Avro ( format=debezium-avro-confluent )

本文介绍的场景是：使用KafkaConnect的DebeziumMySQLSourc

　Laurence·2024-01-27 06:54

37.Java连接Kafka

37.1实验环境Intellij已安装且正常运行Maven环境正常RedHat7.2CM和CDH版本为5.11.2Kafka2.2.0-0.10.2创建topic，test3有3个replication

大勇任卷舒·2024-01-27 06:40

kubernetes pod 高级

一、pod资源限制1、什么是pod的资源限制在Kubernetes集群中，为了使系统能够稳定的运行，通常会对Pod的资源使用量进行限制。

运维螺丝钉·2024-01-27 05:52

kubernetes工作负载-DamonSet

一、DemonSet的介绍1、什么是DemonSetDaemonSet控制器是用来保证在所有节点上运行一个Pod的副本当有节点加入集群时，也会为他们新增一个Pod。

运维螺丝钉·2024-01-27 05:52

RocketMQ-同城双活-高可用架构-同程旅行

背景介绍为何选择RocketMQ我们在几年前决定引入MQ时，市场上已经有不少成熟的解决方案，比如RabbitMQ,ActiveMQ，NSQ，Kafka等。

无心六神通·2024-01-27 04:59

架构-容灾-数据库集群-美团技术团队

1容灾介绍我们通常会把故障分为三大类，一是主机故障，二是机房故障，三是地域故障。每类故障都有各自的诱发因素，而从主机到机房再到地域，故障发生概率依次越来越小，而故障的影响却越来越大。容灾能力的建设目标是非常明确的，就是要能够应对和处理这种机房级和地域级的大规模故障，从而来保障业务的连续性。近几年，业界也发生了多次数据中心级别的故障，对相关公司的业务和品牌产生了非常大的负面影响。当前容灾能力已经成为

无心六神通·2024-01-27 04:28

【代码随想录-数组】二分查找

檀越剑指大厂·2024-01-27 04:58

Kafka3.0源码学习

内存池3、sender线程发送数据二、消费者源码1、初始化2、消费者订阅主题3、消费者拉取和处理数据3.1消费总体流程3.2消费者/消费者组初始化3.3拉取数据3.4消费者Offset提交三、服务端源码kafka

魅Lemon·2024-01-27 04:25

k8s-集群安全机制

一、概述1.访问k8s集群的时候，需要经过三个步骤完成具体操作第一步：认证第二步：鉴权(授权)第三步：准入控制2.进入访问时候，过程找那个都需要经过apiServer,apiserver做统一协调控制访问过程中需要证书

程序小黑马·2024-01-27 04:47

K8s--安全认证

一、访问控制概述Kubernetes作为一个分布式集群的管理工具，保证集群的安全性是其一个重要的任务。所谓的安全性其实就是保证对Kubernetes的各种客户端进行认证和鉴权操作。

‘秋歌：·2024-01-27 04:17

K8S-Etcd三副本机制群集

文章目录一、Etcd简介二、Etcd作用三、Etcd群集部署k8s-master配置k8s-node1节点配置k8s-node2节点配置四、Etcd集群验证一、Etcd简介etcd是CoreOS团队于2013

时光慢旅·2024-01-27 04:17

k8s----集群优化

目录一、节点配额和内核参数调整二、内核参数优化2.1内核参数详解2.2其他的内核参数三、Etcd性能优化3.1磁盘3.2、etcd进程设置优先级3.3、增大etcd的存储限制3.4、提高etcd对于对等网络流量优先级3.5、其他优化方案3.6、etcd的备份3.6.1、内置快照3.6.2、卷快照3.7、etcd恢复四、镜像拉取相关配置优化4.1、docker优化4.1.1、配置dockerdaem

醉凡尘￠ World1y·2024-01-27 04:15

k8s---安全机制

k8s的安全机制，分布式集群管理工具，就是容器编排。安全机制的核心：APIserver。为整个集群内部通信的中介，也是外控控制的入口。

Lad1129·2024-01-27 04:45

ARM全国产云平台部署容器实战

目录第一节基于国产CPU的服务器2第二节国产云平台61、安装云平台91.1启动ARM服务器，从U盘启动91.2ARM服务器BIOS基本设置10第三节基于ZStack云主机构建K8S集群181、准备工作202

bjczhl·2024-01-27 04:08

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d

kikiki5·2024-01-27 03:24

LVS：三种负载均衡方式比较

首先简单介绍一下LVS(LinuxVirtualServer)到底是什么东西，其实它是一种集群(Cluster)技术，采用IP负载均衡技术和基于内容请求分发技术。

码农小光·2024-01-27 03:58

【代码随想录-数组】有序数组的平方

檀越剑指大厂·2024-01-27 03:24

实时分析海量新数据的难点和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新

云台095·2024-01-27 03:40

高并发redis - cluster

但是也存在如下一些问题：单master架构的内存瓶颈问题master的内存大小的上限，就是整个集群数据量的上限用之前的方式配置读写写分离，最大的问题是master和slave存的内容完全一样，比较浪费内存资源

coder爱唱歌·2024-01-27 02:36

第17章集群

集群是Redis提供的Redis数据库分布式方案。为什么需要分布式Redis提高性能。突破单机数据库性能瓶颈。提高可用性。通过主从复制提供故障转移，进一步提高整个系统的稳定性。

weixin_30649859·2024-01-27 02:26

redis-集群