不重启kafka集群第44页

中间件系列 - Kafka3.x从入门到精通

前言学习视频：【尚硅谷】Kafka3.x教程（从入门到调优，深入全面）本内容仅用于个人学习笔记，如有侵扰，联系删除1Kafka概述1.1定义Kafka传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列

代码的知行者·2024-01-31 08:58

分布式架构

飞影铠甲·2024-01-31 08:35

【云原生】docker-compose单机容器集群编排工具

目录一、docker-compose容器编排的简介二、docker-compose的使用1、docker-compose的安装2、docker-compose的配置模板文件yaml文件的编写（1）布尔值类型（2）字符串类型（3）一个key有多个值（4）对象object类型类型（5）文本块（6）锚点3、docker-compose配置模板文件常用的字段与dockerrun的选项和参数对比4、dock

liu_xueyin·2024-01-31 08:51

JAVA电商平台免费搭建 B2B2C商城系统多用户商城系统直播带货新零售商城 o2o商城电子商务拼团商城分销商城

SpringBoot、Mybatis、Redis3.前端框架VUE、Uniapp、Bootstrap/H5/CSS3、IOS、Android、小程序4.核心思想分布式、微服务、云架构、模块化、原子化、持续集成、集群部署

2301_78385600·2024-01-31 08:48

启动集群时遇到WARNING: HADOOP_SECURE_DN_USER做替换

启动集群时遇到WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER

Dirth.·2024-01-31 08:40

【大数据入门核心技术-Tez】（三）Tez与Hive整合

一、准备工作1、Hadoop和Hive安装【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建【

forest_long·2024-01-31 08:06

大数据[1] -- 安装hadoop

安装jdk3.安装Hadoop二、配置三、其他配置四、出现的问题五参考文章Hadoop安装以及配置一、安装1.安装SSH，设置SSH无密码登录ssh可以让访问其他Linux虚拟机而不用输入密码，可以为集群做准备在被访问主机上生成公钥

天下一般·2024-01-31 08:06

Hadoop搭建集群中输入hdfs namenode -format格式化节点时，提示：hdfs command not found 解决办法

分析原因：hadoop的安装路径没有加入到当前路径中解决办法：方法1：进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin./sbin方法2:进入/etc/profile文件中添加hadoop的安装路径sudovim/etc/profile添加：exportHADOOP_HOME=本机的hadoop安装路径exportPATH=$HADOOP_HOME/bin:$HADOOP

drhrht·2024-01-31 08:05

Kafka系列之：不重启kafka集群设置kafka topic数据保留时间

Kafka系列之：不重启kafka集群设置kafkatopic数据保留时间一、kafkatopic数据保留3天的bash命令二、查看kafka删除数据日志三、批量设置上千个topic保留3天数据1.构建

最笨的羊羊·2024-01-31 07:57

KAFKA节点故障的容错方案

KAFKA节点故障的容错方案1.broker启动加载逻辑1.1日志组成和分析1.2snapshot文件1.3broker启动流程1.4LogManager的初始化和启动过程2.controller高可用

李姓门徒·2024-01-31 07:25

kerberos+kafka（2.13）认证（单节点ubuntu）

一：搭建kerberos。1.运行安装命令apt-getinstallkrb5-admin-serverkrb5-kdckrb5-userkrb5-config2.检查服务是否启动。systemctlstatuskrb5-admin-serversystemctlstatuskrb5-kdcsystemctlstartkrb5-admin-serversystemctlstartkrb5-kdc3

宇智波云·2024-01-31 07:55

kafka3.0.0学习记录

文章目录第1章Kafka概述1.1定义1.2消息队列1.2.1应用场景第1章Kafka概述1.1定义Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），被数千家公司用于高性能数据管道

珍珠是蚌的眼泪·2024-01-31 07:24

snakemake 学习(0)

它们可以无缝扩展到服务器，集群，网格和云环境，而无需修改工作流定义。最后，Snakemake工作流程可能需要描述所需的软件，这些软件将自动部署到任何执行环境。

BioLearner·2024-01-31 07:06

Linux 工具

集群节点同步镜像同步目录#!

xfchn多多学习学习·2024-01-31 07:54

实时计算平台

Flink实时计算平台架构Flink+kafka+clickHouse+mysql+postgresql

xfchn多多学习学习·2024-01-31 07:24

kafka Standalone 配置测试

一安装1、安装jdk安装jdk2安装zk这里Standalone模型$tar-zxfapache-zookeeper-3.5.9-bin.tar.gz-C/var/soft/$mvapache-zookeeper-3.5.9-bin/zookeeper-3.5.9-bin/$mvzoo_sample.cfgzoo.cfg$vizoo.cfg修改此处，其他默认dataDir=/var/soft/zo

xfchn多多学习学习·2024-01-31 07:24

RabbitMQ和Kafka对比

RabbitMQ和Kafka都是流行的消息传递系统，但它们在设计哲学、功能特性和最适用的场景上有所不同：1.设计和架构RabbitMQ:基于AMQP（高级消息队列协议）。

薛定谔的zhu·2024-01-31 07:21

【kafka-01数据保留时间设置】

kafka正确设置过期时间背景如何正确配置数据过期时间背景某天突然发现我的kafka中group_id消费记录不见了，特地查了下咋回事。

我先森·2024-01-31 07:50

Kafka与RocketMQ性能对比大揭秘

在双十一过程中投入同样的硬件资源，Kafka搭建的日志集群单个Topic可以达到几百万的TPS，而使用RocketMQ组件的核心业务集群，集群TPS只能达到几十万TPS，这样的现象激发了我对两者性能方面的思考

Java柱柱·2024-01-31 07:21

Docker进阶篇-reids集群

一、集群存储算法分布式存储的常见算法：哈希取余分区一致性哈希算法分区哈希槽分区1、哈希取余分区描述：每次读写操作都是根据公式：Hash(key)%N（其中，key是要存入Redis的键名，N是Redis

陪我养猪吧·2024-01-31 07:53

K8S故障临时设置节点为不可调度

一、K8s节点驱逐节点驱逐是指将节点上运行的Pod迁移到其他可用节点上，并暂时从集群中移除目标节点。这个操作通常在节点维护、系统升级、硬件故障或者其它需要暂时离线节点的场景下使用。

睡不醒的猪儿·2024-01-31 07:53

Kubernetes k8s

k8s主要包括以下几点：服务发现与调度Kubernetes可以把用户提交的容器放到Kubernetes管理的集群的某一台节点上去。Kubernetes的调度器是执行这项能

eight_Jessen·2024-01-31 07:15

云原生 k8s 可能使用到的端口整理【不定期更新】

如果是通过公网IP进行安装的时候需要根据实际情况有选择的进行放开；一般只有云厂商会提供公网IP访问，自建的话不建议k8s集群通过公网IP进行通信，除非做了网络安全配置和管理；大多数情况下，k8s是通过内网

Roc.Chang·2024-01-31 07:11

构建高效可靠的消息队列系统：设计与实现

目录一、引言二、设计目标2.1、高可用性1.集群搭建1.1DockerCompose配置示例2.容错和恢复2.1异常检测与自动故障迁移2.2SpringBoot代码示例3.心跳检测4.优雅关闭2.2、持久性

喔的喔的嘛呀·2024-01-31 07:31

【Kafka】服务器Broker与Controller详解

Broker概述Broker总体工作流程Broker重要参数Controller为什么需要Controller具体作用数据服务Leader选举选举流程脑裂问题羊群效应触发leader选举Broker概述Kafka

Ethan-running·2024-01-31 06:59

大数据技术Hadoop之分布式计算框架MapReduce

2.什么是MapReduceMapReduce是一种分布式计算框架，它可以将大规模的数据集分成许多小的数据块，然后在分布式计算集群中进行并行

大马猴写bug·2024-01-31 06:11

Hadoop系列之-4、MapReduce分布式计算

MapReduce计算模型介绍理解MapReduce思想HadoopMapReduce设计构思MapReduce编程规范及示例编写编程规范编程步骤WordCount示例编写MapReduce程序运行模式本地运行模式集群运行模式结束之前详细讲解了

技术武器库·2024-01-31 06:10

zabbix和prometheus怎么选？

不仅支持swarm原生集群,还支持Kubernetes容器集群，是目前容器监控最好解决方案。基本上使用kubernetes与容器的企业，prometheus是最好的选择。

信息化战略·2024-01-31 06:23

nfs挂载报错误wrong fs type, bad option, bad superblock

今天在kubernetes集群上搭建wordpress时，利用pvnfs存储方式持久化，但是pod一直不能Running，kubectldescribepod{wordpresspodname}报错如下

进击云原生·2024-01-31 05:00

RabbitMQ Federation

Federation插件的目标是使RabbitMQ在不同的Broker节点之间进行消息传递而无须建立集群，该功能在很多场景下都非常有用：Federation插件能够在不同管理域（可能设置了不同的用户和vhost

PC_Repair·2024-01-31 05:28

从单点 Redis 到 1 主 2 从 3 哨兵的架构演进之路

一、前言我们有个项目中用的MySQL、Redis、ES、微服务都是单节点部署的，没有做集群模式部署，为了提高整体的可用性，对项目的部署架构进行了升级，支持高可用。

程序员xysam·2024-01-31 05:50

Zookeeper实现分布式队列

目录Zookeeper分布式队列普通方式实现设计思路具体实现使用Curator实现具体实现注意事项Zookeeper分布式队列常见的消息队列有:RabbitMQ，RocketMQ，Kafka等。

山鸟与鱼！·2024-01-31 05:33

ZooKeeper特性与节点数据类型详解

ZooKeeper节点分类示例：简单实现分布式锁ZooKeeper节点状态信息示例：zookeeper乐观锁删除ZooKeeper监听机制详解ZooKeeper节点特性总结应用场景详解统一命名服务数据发布/订阅统一集群管理负载均衡

山鸟与鱼！·2024-01-31 05:02

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d

kikiki5·2024-01-31 05:41

Nacos注册中心核心原理

集群间数据是如何同步的？CP还是AP？Nacos的数据模型是什么样的？…本文就通过探讨上述问题来探秘Nacos服务注册中心核心的底层实现原理。

ayu_programer·2024-01-31 05:30

Redisson分布式锁介绍及实战应用（防止缓存击穿）

本地锁浏览器把100w请求由网关随机往下传，在集群情况下，每台服务都放行10w请求过来，这时候每台服务都用的是本地锁是跨JVM的，列如这些服务都没有49企业，此时有几个服务进行回原了打击在DB上面，那后期把这个服务部署了

有心不在迟·2024-01-31 04:55

3台服务器+StarVCenter，搭建“超融合云平台”-完美体验-跑100台虚拟机

这种模式不需要专用的存储设备，它采用分布式存储软件，利用每台计算节点上的本地硬盘构成存储集群。这样计算节点即有高可用的计算能力，又有高可用的存储能力。

wtyuiohxvm·2024-01-31 04:49

超融合基础架构

可灵活扩展的分布式集群超融合基础架构一般以集群方式部署，在通用服务器硬件上安装超融合软件，多台通用服务器之间通过以太网互联，构成

shanyuncs·2024-01-31 04:47

spring boot 使用 Kafka

一、Kafka作为消息队列的好处高吞吐量：Kafka能够处理大规模的数据流，并支持高吞吐量的消息传输。持久性：Kafka将消息持久化到磁盘上，保证了消息不会因为系统故障而丢失。

奋力向前123·2024-01-31 03:20

【docker】Docker-compose单机容器集群编排

为什么老是名字被占用·2024-01-31 03:38

docker-compose启动elasticsearch集群

首先安装docker安装命令如下：安装curl-fsSLhttps://get.docker.com|bash-sdocker--mirroraliyun也可以使用国内daocloud一键安装命令：curl-sSLhttps://get.daocloud.io/docker|sh安装成功后，输入docker-v命令即可Dockerversion20.10.6,build370c289或者也可以直接

Kobebrother·2024-01-31 02:34

SpringSecurity前传--与springboot2.0初步集成

但其实登录没有这么简单，因为：1.我们所面临的登录认证模式很复杂1.1短信的登录1.2微信的登录1.3QQ的登录2.我们要支持多种前端渠道2.1网页登录2.2APP登录3.支持集群环境，跨应用工作，Session

青衣敖王侯·2024-01-31 02:57

mongodb java spring_MongoDB和Java（4）：Spring Data整合MongoDB（XML配置）

最近花了一些时间学习了下MongoDB数据库，感觉还是比较全面系统的，涉及了软件安装、客户端操作、安全认证、副本集和分布式集群搭建，以及使用SpringData连接MongoDB进行数据操作，收获很大。

務酒者·2024-01-31 02:03

docker运行elasticsearch集群与elasticsearch-head及安全策略配置

1、部署目录结构：/opt/elasticsearch/configelasticsearch配置文件目录/opt/elasticsearch/caelasticsearch集群通信证书目录，目录下有文件

晶格点阵·2024-01-31 02:31

06 - ElasticStack 之三：Ｘ-Pack 的安装和使用

监控功能：监控集群的使用情况，cpu、磁盘的负载情况等等。2.安装：（1）安装好ES和Kibana（2）下载X

AshesOfBlues·2024-01-31 02:30

Elastic Stack 7.5 X-Pack 安全功能部署

这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色，并且使用Spaces为Ki

运维开发故事·2024-01-31 02:30

ElasticSearch 集群 7.9.0 linux （CentOS 7部署）包含Mysql动态加载同义词、基础词、停用词，Hanlp分词器，ik分词器，x-pack）

linux服务器配置要求：/etc/sysctl.conf文件最后添加一行vm.max_map_count=262144/sbin/sysctl-p验证是否生效修改文件/etc/security/limits.conf，最后添加以下内容。*softnofile65536*hardnofile65536*softnproc32000*hardnproc32000*hardmemlockunlimit

SunForYou·2024-01-31 02:00

三、ElasticSearch集群搭建实战

本篇ES集群搭建主要是在LinuxVM上，未使用Docker方式,ES版本为7.10,选择7.10版本原因可以看往期文章介绍。

南天一梦N·2024-01-31 02:29

Elasticsearch7.x配置xpack实战

这意味着用户现在能够对网络流量进行加密、创建和管理用户、定义能够保护索引和集群级别访问权限的角色，并且使用Spaces为Kibana提供全面保护。免费提供的核心安全功能如下：1）TLS功能。

m0_67392661·2024-01-31 02:29

ElasticSearch 7.4集群部署启用x-pack验证 Kibana7.4用户管理

一.es7.4集群搭建1.1下载es以及修改相应配置1.1.1节点规划内网ip节点192.168.18.126node-1192.168.18.125node-2192.168.18.133node-31.1.2

Cocktail_py·2024-01-31 02:28

推荐频道

不重启kafka集群