kvm集群第5页

flink on yarn模式下的，flink中的slot，taskmanage，parallelism，以及yarn中的container，vcore，memory它们之间的关系

第一点yarn集群上同时能跑多少任务是有限定的，这个限定就是yarn上的vcore和memory这两个参数。

抛砖者·2025-02-07 18:40

Databend 产品月报（2025年1月）

本地计算集群现在，您可以使用SQL命令管理本地计算集群，从而更轻松地在自托管的Databend环境中创建、扩展和提升查询性能。

·2025-02-07 17:09

基于keepalived+GTID半同步主从复制的高可用MySQL集群

文章目录项目架构图项目名称项目环境项目描述ip地址规划项目步骤一.安装好8台全新的centos7.9的系统，关闭firewalld和selinux，配置每台主机的静态ip地址，设置每台主机对应的主机名。1、关闭firewalld2.关闭seLinux3.配置每台主机静态ip地址4.设置每台主机对应的主机名二.部署ansible服务器，配置SSH免密通道（单向），编写主机清单，使用ansible以二

千夜啊·2025-02-07 16:54

docker搭建redis集群

环境系统麒麟Kylin（V10SP3）Redis7.2.4前期准备调整系统参数less-N/etc//sysctl.conf#sysctlsettingsaredefinedthroughfilesin#/usr/lib/sysctl.d/,/run/sysctl.d/,and/etc/sysctl.d/.##Vendorssettingslivein/usr/lib/sysctl.d/.#Too

weixin_44157851·2025-02-07 13:07

SpringCloud详细讲解

学习目标微服务框架SpringCloud的核心组件分布式与集群SpringCloud优缺点微服务框架微服务框架是将某个应用程序开发划分为多个小型服务独立进行业务开发的一种架构模式。

上官花雨·2025-02-07 10:14

《集群、权重、时间戳回眸一识》

人物：王浩田时间：2016年9月11日地点：万达二楼玻璃屋主题：memcached分布式存储开篇之言通过演讲者王浩田在讲述的过程中，我发现有几个名词是之前听过但并未了解的新鲜事物，特写此篇来浅析集群、权重

杨晓风-linda·2025-02-07 09:08

【大数据入门核心技术-Flume】（二）Flume安装部署

修改环境变量3、修改并配置flume-env.sh文件4、验证是否安装成功一、准备工作1、基本Hadoop环境安装参考Hadoop安装【大数据入门核心技术-Hadoop】（五）Hadoop3.2.1非高可用集群搭建

forest_long·2025-02-07 08:33

10. k8s二进制集群之Kube Scheduler部署

在开始之前需要准备什么？创建kube-scheduler证书请求文件【即证书的生成⓵】根据上面证书配置文件生成kube-scheduler证书【即证书的生成⓶】创建与关联kube-scheduler配置文件（为后面生成系统服务做准备）创建kube-scheduler服务配置文件【准备系统服务⓵】创建kube-scheduler启动配置文件【准备系统服务⓶】同步kube-scheduler证书文件到

smart_ljh·2025-02-07 07:57

nginx-ingress详解

一、ingress概述1、概述Kubernetes是一个拥有强大故障恢复功能的集群，当pod挂掉时，集群会重新创建一个pod出来，但是pod的IP也会随之发生变化，为了应对这种情况，引入了service

*老工具人了*·2025-02-07 06:17

【kafka】kafka的动态配置管理使用和分析

中的动态配置源码分析kafka知识图谱：Kafka知识图谱大全kafka管控平台推荐使用滴滴开源的Kafka运维管控平台(戳我呀)更符合国人的操作习惯、更强大的管控能力、更高效的问题定位能力、更便捷的集群运维能力

石臻臻的杂货铺·2025-02-07 06:16

Kafka源码解剖

分区的数据会获取集群元数据注册broker信息，并通过RecordAccumulator缓存池创建对应的Sender的线程，在该线程中会将请求封装成一个batch，最后在把整个batch数据发送到broker

纸短情长恋曲·2025-02-07 06:45

【kafka实战】05 Kafka消费者消费消息过程源码剖析

1.概述Kafka消费者（Consumer）是Kafka系统中负责从Kafka集群中拉取消息的客户端组件。消费者消费消息的过程涉及多个步骤，包括消费者组的协调、分区分配、消息拉取、消息处理等。

suyukangchen·2025-02-07 05:41

管理etcd的存储空间配额

如何管理etcd的存储空间配额-防止集群存储耗尽指南本文基于etcdv3.4官方文档编写为什么需要空间配额？在分布式系统中，etcd作为可靠的键值存储，很容易成为系统瓶颈。

*老工具人了*·2025-02-07 05:11

Kubeadm极速部署Kubernetes 1.24版本集群

从kubernetes1.24开始，dockershim已经从kubelet中移除，但因为历史问题docker却不支持kubernetes主推的CRI（容器运行时接口）标准，所以docker不能再作为kubernetes的容器运行时了，即从kubernetesv1.24开始不再使用docker了。但是如果想继续使用docker的话，可以在kubelet和docker之间加上一个中间层cri-doc

星光落入你灰蒙蒙的眼·2025-02-07 05:38

大数据集群搭建基础：Hadoop完全分布式搭建学习指南！！

Hadoop完全分布式搭建学习指南Hadoop版本：Hadoop2.XJDK版本：JDK1.8一、准备工作设置主机名和IP在三台CentOS7.4机器上分别设置主机名和IP：node1:192.168.14.10node2:192.168.14.20node3:192.168.14.30修改主机名（以node1为例）：hostnamectlset-hostnamenode1配置网络（依据具体网络环

初次知晓·2025-02-07 01:16

Spark -- 执行器后端 & 调度器后端

在ApacheSpark中，coarseGrainedExecutorBackend和coarseGrainedschedulerBackend是两个重要的组件，它们在spark的集群调度和执行过程中扮演着不同的角色

Cynthiaaaaalxy·2025-02-07 00:36

【springboot】springboot+dubbo+Zookeeper

主要用于分布式应用配置管理、统一命名服务、状态同步服务、集群管理等。zookeeper用来注册服务和进行负载均衡，通过心跳机制可以检测挂掉的机器并将挂掉机器的ip和服务对应关系从列表中删除。

DreamBoy_W.W.Y·2025-02-06 23:03

什么是Redis哨兵机制?

1000道互联网大厂Java工程师精选面试题-Java资源分享网Redis哨兵机制（Sentinel）是Redis集群中用于实现高可用性的系统架构。

java1234_小锋·2025-02-06 21:46

数据开发八股文整理- Hadoop

hadoopHadoop是一个分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题Hadoop运行模式本地模式和为分布式模式都是单机运行完全分布模式即是多台服务器组成分布式环境Hadoop集群中的组件

兔子宇航员0301·2025-02-06 18:59

二、Kubernetes的基本概念

Kubernetes是谷歌以Borg为前身，基于谷歌15年生产环境经验的基础上开源的一个项目，Kubernetes致力于提供跨主机集群的自动部署、扩展、高可用以及运行应用程序容器的平台。

Cyan_Jiang·2025-02-06 16:46

kubernetes-HPA、rancher

Pod五、资源限制-命名空间1.计算资源配额2.配置对象数量配额限制六、Rancher简介七、Rancher安装及配置1.安装rancher2.登录Rancher平台3.Rancher管理已存在的k8s集群

Drw_Dcm·2025-02-06 16:16

如何搭建Hadoop高可用集群

一、集群配置图在搭建集群之前，我们要考虑好集群中各个机器的配置。

Alcaibur·2025-02-06 13:24

SRS分析及低延迟实现机制

多进程集群：支持通过--workers参数启动多个进程，充分利用多核C

Ryan-S·2025-02-06 11:12

Kubernetes 中 BGP 与二层网络的较量：究竟孰轻孰重？

如果你曾搭建过Kubernetes集群，就会知道网络配置是一个很容易让人深陷其中的领域。在负载均衡器、服务通告和IP管理之间，你要同时应对许多变动的因素。

硅基创想家·2025-02-06 10:35

Shiro

1.会话管理Shiro提供了完整的企业级会话管理功能,不依赖于底层容器(如Tomcat)，不管是J2SE还是J2EE环境都可以使用，提供了会话管理，会话事件监听，会话存储/持久化，容器无关的集群，失效/

羽愿·2025-02-06 08:52

rocketmq架构

1.架构图RocketMQ的四层架构：1.1客户端层（Clients）：Producer集群：（1）DefaultMQProducer：普通消息生产者（2）TransactionMQProducer：事务消息生产者

小王爱编程啊·2025-02-06 08:19

kafka-eagle-2.0.3：Note: Kafka version is - or JMX Port is -1 maybe kafka broker jmxport disable.

kafka-eagle-2.0.3无法获取kafka集群信息kafka开启JMX，这样就可以通过kafka-eagle查看kafka集群状态。

快乐骑行^_^·2025-02-06 06:42

【大数据技术】编写Python代码实现词频统计（python+hadoop+mapreduce+yarn）

编写Python代码实现词频统计（python+hadoop+mapreduce+yarn）搭建完全分布式高可用大数据集群（VMware+CentOS+FinalShell）搭建完全分布式高可用大数据集群

Want595·2025-02-06 06:05

ACK One 如何通过 GitOps & DevOps 实现高效 CI/CD 流水线？

阿里云分布式云容器平台ACKOne作为一站式Kubernetes多集群管理解决方案，能够帮助企业高效管理跨地域、跨云、多集群的Kubernetes资源。

Anna_Tong·2025-02-06 05:54

一次线程数超限导致的hive写入hbase作业失败分析

1.集群配置操作系统：SuSe操作系统集群节点：100台相同配置的服务器单台：核心112Core，内存396G2.问题现象现象1：跑单个入库任务报错，批量提交任务后出现OOM异常执行12个hivesql

spring208208·2025-02-06 04:46

Hadoop1.0-HDFS介绍

采用Java语言开发，可以部署在多种普通的廉价机器上，以集群处理数量积达到大型主机处理性能。一、HDFS基本概念1、Bl

szjianzr·2025-02-06 03:13

rocketmq集群启动和下线

启动nameservernohupshbin/mqnamesrv&tail-f~/logs/rocketmqlogs/namesrv.log启动brokernohupshbin/mqbroker-nlocalhost:9876&tail-f~/logs/rocketmqlogs/broker.log-n:nameserver生产/消费测试消息shbin/tools.shorg.apache.roc

小虾米 ~·2025-02-06 03:39

k8s集群部署

k8s的概念和作用是一个开源的Docker容器编排系统源于google的borg，2015年7月k8sv1.0正式发布，调度计算机群节点，动态管理节点上的作业，使用【labels】和【pods】概念，将应用按逻辑单元分组，主要用途自动化部署，扩展和管理容器应用服务发现资源调度扩展缩容（指的是某个资源的自动缩减）部署管理监控k8s的好处裸容器的不足宿主机宕机造成主机的容器不可用，无法自行恢复容器的健

moluxiangfenglo·2025-02-06 01:57

NoSQL 之Redis集群

Redis集群主从复制主从复制（Replication）是Redis中一种基本的高可用架构模式，适用于简单的读写分离需求和基本的故障恢复。

moluxiangfenglo·2025-02-06 01:27

kafka的高可用情况下,挂掉一个节点,为什么消费者消费不到数据了

1.假设有kafka集群,3个brokerkafka集群kafka01kafka02kafka032.创建topictest(分区3副本3)kafka-topics.sh--create--topic'test

黄土高坡上的独孤前辈·2025-02-05 21:55

云计算：从基础架构原理到最佳实践之：云计算大数据分析与处理

4.大数据分类、存储和处理技术4.1大数据分类4.2大数据存储和处理技术5.Hadoop-Cloud组件选型5.1Hadoop安装5.1.1Hadoop下载5.1.2配置环境变量5.2配置Hadoop集群

AI天才研究院·2025-02-05 20:18

Java 技术全栈深度探索：从基础到企业级应用实践

服务容错等企业级架构要点；从Spring生态剖析到电商、直播答题等多类型项目实战；涵盖容器云、监控、测试、CI&CD平台实践以及问题定位与安全分析等运维保障内容；还涉及Netty网络编程、X2C需求设计及大数据集群资源评估等

智界工具库·2025-02-05 19:43

k8s二进制集群之Kubectl部署

kubectl证书请求文件生成admin证书文件复制admin证书到指定目录生成kubeconfig配置文件接下来完成kubectl配置文件的角色绑定【扩展】kubectl命令补全操作继续上一篇文章《k8s二进制集群之

smart_ljh·2025-02-05 18:05

云原生周刊：K8s引领潮流

·2025-02-05 17:03

web集群-负载均衡集群-Nginx

nginx简介Nginx的官网http://nginx.org/en/基本特性可针对静态资源高速高并发访问及缓存。可使用反向代理加速，并且可进行数据缓存。具有简单负载均衡、节点健康检查和容错功能。支持远程FastCGI服务的缓存加速。支持FastCGI、Uwsgi、SCGI、MemcachedServers的加速和缓存。支持SSL、TLS、SNI。具有模块化的架构：过滤器包括gzip压缩、rang

xx_01_2048769943·2025-02-05 17:28

k8s二进制集群之Kube ApiServer部署

创建kube工作目录（仅在主节点上创建即可）同样在我们的部署主机上创建apiserver证书请求文件根据证书文件生成apiserver证书仅接着创建TLS所需要的TOKEN创建apiserver服务的配置文件（仅在主节点上创建即可）创建apiserver服务管理配置文件对所有master节点分发证书&TOKEN都安装好了，下面我们启动一下apiserver服务最后完成了，怎么来验证apiserve

smart_ljh·2025-02-05 12:16

mycat和mysql

MyCat是数据库中间件，支持数据库集群，提供高可用性的数据分片集群。可以管理多个机器上的数据库组成的集群。MyCat分片：海量数据存储的解决方案。

沐漜·2025-02-05 09:29

百度成功点亮昆仑芯三代万卡集群，将于近日点亮3万卡集群

近日，百度智能云成功点亮昆仑芯三代万卡集群，这也是国内首个正式点亮的自研万卡集群。百度智能云将进一步点亮3万卡集群。国产昆仑芯万卡集群以及未来三万卡集群的建设，从硬件到软件，技术挑战是全方位的。

·2025-02-05 09:50

CDH角色迁移和硬盘扩容

1.概述生产CDH集群硬盘不足，HDFSdatanode节点数据不平衡，历史管理角色安装混乱，全部节点需要硬盘扩容。

专注大数据的Lyer·2025-02-05 09:56

【无标题】k8s的介绍

⼀、编排分类单机容器编排:docker-compose容器集群编排:dockerswarm、mesos+marathon、kubernetes应⽤编排:ansible(模块，剧本，⻆⾊)⼆、系统管理进化史

m0_68739559·2025-02-05 09:55

Redis主从复制+哨兵集群搭建

哨兵模式什么是哨兵模式主从切换技术的方法是：当主服务器宕机后，需要手动把一台从服务器切换为主服务器，这就需要人工干预，费事费力，还会造成一段时间内服务不可用。这不是一种推荐的方式，更多时候，我们优先考虑哨兵模式。Redis从2.8开始正式提供了Sentinel（哨兵）架构来解决这个问题。反客为主的自动版，能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库。哨兵模式是一种特殊的模式，

元气满满的热码式·2025-02-05 08:20

Hadoop框架及HDFS详细概述

文章目录Hadoop概述一、Hadoop1、分布式和集群2、Hadoop框架2.1概述2.2版本更新2.3Hadoop架构详解2.4官方示例2.4.1圆周率练习2.4.2词频统计3、Hadoop的HDFS3.1

搬砖人_li·2025-02-05 07:14

kubernetes 核心技术-集群安全机制 RBAC

随着Kubernetes在企业级应用中的广泛采用，确保集群的安全性变得至关重要。Kubernetes提供了多种安全机制来保护集群及其资源免受未授权访问和潜在威胁的影响。

難釋懷·2025-02-05 06:36

kubernetes 核心技术-Helm

通过Helm，开发者可以更轻松地打包、配置和部署应用程序到Kubernetes集群中。本文将详细介绍Helm的基本概念、工作原理以及如何使用Helm来提升Kubernetes应用的管理效率。