集群k8s 第20页

【MQ】如何保证消息队列的高可用？

RocketMQNameServer集群部署Broker做了集群部署主从模式类型：同步复制、异步复制主节点返回消息给客户端的时候是否需要同步从节点Dledger：要求至少消息复制到半数以上的节点之后，才给客户端返回写入成功

Forest 森林·2025-01-28 09:24

日志收集Day008

1.zk集群优化修改zookeeper的堆内存大小，一般情况下，生产环境给到2G足以，如果规模较大可以适当调大到4G。

ccnnlxc·2025-01-28 07:16

大数据小白系列——YARN(1)

A:在一个具有成百上千节点的集群上(这很常见)，资源管理十分重要，一个好的资源管理系统可以充分发挥各节点的能力，避免一些节点忙碌，

weixin_44386638·2025-01-28 07:13

redis分布式锁与redsync库源码分析

一.redlock算法单点场景首先来看单redis实例的场景，这是集群模式的基础。

阿鹏哥哥01·2025-01-28 07:13

Hadoop学习笔记 --- YARN执行流程与工作原理

MapReduce1中的JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进行实现；ResourceManager：负责整个集群的资源管理和调度

杨鑫newlfe·2025-01-28 07:42

基于Multi-Agent的无人机集群体系自主作战系统设计

源自：系统工程与电子技术作者：张堃,华帅,袁斌林,杜睿怡“人工智能技术与咨询”发布摘要针对无人集群自主作战体系设计中的关键问题,提出基于Multi-Agent的无人集群自主作战系统设计方法。

龙腾亚太·2025-01-28 05:30

无人机低成本集群技术实现详解

其中，无人机集群技术作为提高任务效率、降低成本的重要手段，正受到越来越多的关注。

无人机技术圈·2025-01-28 05:59

真实互联网线上系统JVM内存溢出排查流程(文末彩蛋)

期间发现集群中每台应用服务器JVM内存使用率高达96%左右，存在瞬间内存打满，导致服务瘫痪情况。

程序健跑人生·2025-01-28 03:12

【面试题】构建高并发、高可用服务架构：技术选型与设计

监控系统消息队列缓存层数据存储层应用层Web层负载均衡与流量分配GrafanaPrometheusAlertmanager消息队列Kafka/RabbitMQ集群/镜像队列缓存层Redis/Memcached

言之。·2025-01-28 02:05

K8S中高级存储之PV和PVC

PV（PersistentVolume）PV是Kubernetes中的一个API对象，它代表集群中的一块存储，这块存储已经预先按照某种方式设置好了，并且可以被多个用户使用。

元气满满的热码式·2025-01-28 00:19

【常用bsub指令介绍】使用bsub命令提交作业、开启交互式窗口，在集群服务器上用pdb进行代码调试

目录1.LSF作业调度系统和服务器集群介绍2.bsub运行作业的两种方式2.1bsub直接提交作业2.2bsub开启交互式窗口3.使用pdb进行代码调试4.更多bsub指令分享1.LSF作业调度系统和服务器集群介绍在一个服务器集群中

凌漪_·2025-01-28 00:16

K8s存储之配置存储

1.1ConfigMapConfigMap是K8s中的一种API对象，用于存储非敏感的配置数据，存储简单的键值对或者一组文件。单个ConfigMap的数据量不能超过1MB，适合存储小规模的配置信息‌。

Herry_644280825·2025-01-28 00:16

K8S中数据存储之配置存储

配置存储在Kubernetes中，ConfigMap和Secret是两种核心资源，用于存储和管理应用程序的配置数据和敏感信息。理解它们的功能和最佳实践对于提高Kubernetes应用程序的安全性和配置管理的效率至关重要。ConfigMapConfigMap是一种API对象，允许你存储非敏感配置数据，如环境变量、数据库URL等。它以键值对的形式存储数据，便于应用程序访问必要的配置。ConfigMap

元气满满的热码式·2025-01-27 23:14

软考高级系统架构设计师系列之：分布式存储技术

分布式存储技术集群存储技术。集群存储系统是指架构在一个可扩充服务器集群中的文

快乐骑行^_^·2025-01-27 23:13

k8s的主要组件以及重要概念

K8S（Kubernetes）是一个用于自动部署、扩展和管理容器化应用程序的开源系统。

linshuai-on·2025-01-27 21:32

构建高可用系统设计OpenStack、Docker、Mesos和Kubernetes(简称K8s)

二、服务层细化和落地业务层的划分、拆分、服务治理三、架构技术层构建技术包括：OpenStack、Docker、Mesos和Kubernetes(简称K8s)

葡萄爱·2025-01-27 21:31

菜鸟BUG之常见异常（一）

雷声炸响，天地倾斜，海啸山崩，黎明前的曙光迟迟不现，群魔乱舞霍乱人间，有仙师集群英之心血，持剑出山，剑斩群魔，终于仙巅同最后一大魔同归于尽，然有人的江湖便有魔，为警示后人，群贤集巨力书群魔以息，吾初入江湖

苏白辛·2025-01-27 21:57

helm介绍和helm部署应用到k8s集群（helm+k8s）——详细文档

helm介绍和helm部署应用到k8s集群（helm+k8s）——详细笔记整理文档相关配套软件包和文档网盘地址:https://url28.ctfile.com/f/37115828-599686627

运维实战课程·2025-01-27 20:51

虚拟服务器的外部跟内部端口,虚拟服务器设置外部端口

您需要创建一个至少包含一个节点的集群，且该节点已绑定弹性IP。集群是运行工作负载的逻辑分组，包含一组云服务器资源，每台云服务器即集群中的一个节点。使用外部镜像文件创建私有

验行客·2025-01-27 19:14

使用Ambassador容器构建docker容器集群

当两个Docker容器在同一主机（或虚拟机）时，可以通过--link命令让两者直接互相访问。如果要跨主机实现容器互联，则往往需要容器知道物理主机的ip地址。利用Ambassador容器机制，可以让互联的容器无需知道所在物理主机的IP地址即可互联。基本场景Ambassador容器也是一种docker容器，她在内部提供了转发服务。如下图。当客户端容器要访问服务器时，直接访问客户端Ambassador容

安心Smile·2025-01-27 17:33

kubernetes 查询容器的 network namespace

尽管Linux内核提供了各种类型的名称空间，在本文中，我们将研究如何查看Kubernetes集群中容器的networknamespace，这对于故障排除和学习非常有用。

安心Smile·2025-01-27 17:02

k8s支持自定义field-selector spec.hostNetwork过滤

好久没写博客啦，年前写一个博客就算混过去啦写一个小功能，对于Pod，在没有label的情况下，支持--field-selectorspec.hostNetwork查询Pod是否为hostNetwork类型，只为了熟悉APIServer是如何构建索引向Etcd查询过程。Kubernetes版本1.17.4的，需要重新编译APIServer。不要怪太老了，高版本代码这块儿没怎么变过，下载代码：gitc

安心Smile·2025-01-27 17:00

2022-02-09大数据学习日志——PySpark——Spark快速入门&Standalone集群

第一部分Spark快速入门01_Spark快速入门【Anaconda软件安装】[掌握]使用Python编写Spark代码，首先需要安装Python语言包，此时安装Anaconda科学数据分析包。Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。Anaconda是跨平台的，有Windows、MacOS、Linux版本。#下载地址：ht

王络不稳定·2025-01-27 17:28

spark2如何集成到cdh里

最近做性能测试需要spark2测试下和spark1.6性能有多大差别，官方文档里写着可以集成，但是自己怎么搞都不行，折磨了3天的时间，目前终于把spark2集成到集群里了我安装的是最新版本的下载spark2

蘑菇丁·2025-01-27 16:55

k8s 中存储之 NFS 卷

目录1NFS卷的介绍2NFS卷的实践操作2.1部署一台NFS共享主机2.2在所有k8s节点中安装nfs-utils2.3部署nfs卷2.3.1生成pod清单文件2.3.2修改pod清单文件增加实现NFS

妍妍的宝贝·2025-01-27 15:48

大数据之Spark运行流程

文章目录前言（一）SparkOnYarn集群的Client模式运行流程（二）SparkOnYarn集群的Cluster模式运行流程总结前言上篇文章有讨论到SparkOnYarn的两种部署模式，如果有不清楚的地方

「已注销」·2025-01-27 15:17

K8s ❉ 高级存储-PV / PVC详解

一介绍1基本理念前面已经学习了使用NFS提供存储，此时就要求用户会搭建NFS系统，并且会在yaml配置nfs。由于kubernetes支持的存储系统有很多，要求客户全都掌握，显然不现实。为了能够屏蔽底层存储实现的细节，以便用户使用，kubernetes引用PV和PVC两种资源对象。PV（PersistentVolume）是持久化卷的意思，是对底层的共享存储的一种抽象。一般情况下PV由kuberne

wangjie722703·2025-01-27 15:16

K8S部署DevOps自动化运维平台

持续集成（CI）持续集成强调开发人员提交了新代码之后，立刻自动的进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确地集成在一起。持续集成过程中很重视自动化测试验证结果，对可能出现的一些问题进行预警，以保障最终合并的代码没有问题。常见的持续集成工具：Jenkins：Jenkins是用Java语言编写的，是目前使用最多和最受欢迎的持续集成工具，使用Jenkins，可以自动监测到

元气满满的热码式·2025-01-27 15:44

K8S知识点

1.查看Pod状态详情列出所有Pod：使用kubectlgetpods命令可以查看集群所有Pod的概览信息，包括名称、状态、IP地址等。

余额很不足·2025-01-27 15:12

k8s优雅重启

理论上处于terminating状态的pod，k8s就会把它从service中移除了，只用配置一个优雅停机时长就行了。

liuzhenghua66·2025-01-27 14:09

K8S中的数据存储之基本存储

基本存储类型EmptyDir描述：当Pod被调度到节点上时，Kubernetes会为Pod创建一个空目录，所有在该Pod中的容器都可以访问这个目录。特点：生命周期与Pod绑定，Pod删除时，数据也会丢失。适用于临时存储需求，如缓存或临时计算数据。支持多种存储类型（如tmpfs）可以根据需求选择。HostPath描述：将主机节点上的文件或目录挂载到Pod中的容器内。特点：允许Pod访问宿主机的文件系

元气满满的热码式·2025-01-27 10:46

springboot kafka配置与使用

org.springframework.kafkaspring-kafkaapplication配置可以根据情况只配置生产着或消费者spring:kafka:#以逗号分隔的地址列表，用于建立与Kafka集群的初始连接

摘星喵Pro·2025-01-27 10:43

HDFS升级和回退

概述作为一个大型的分布式系统，Hadoop内部实现了一套升级机制，当在一个集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响现有应用的非兼容性变更出现；在任何有实际意义的HDFS

小森饭·2025-01-27 08:05

mysql Pxc工作原理_浅谈MySQL-PXC架构

一、PXC概述PXC是基于Galera协议的MySQL高可用集群架构。具有高可用性、方便扩展且可以实现多个MySQL节点间的数据同步复制和读写，保证数据的强一致性。

wei小彦·2025-01-27 07:26

kubernetes 核心技术-探针

在Kubernetes集群中，容器的健康状态对于确保应用的稳定性和可靠性至关重要。

難釋懷·2025-01-27 07:53

Alluxio Enterprise AI on K8s FIO 测试教程

AlluxioEnterpriseAIonK8sFIO测试视频教程视频为AlluxioEnterpriseAIonK8sFIO测试视频教程。

Alluxio·2025-01-27 05:44

K8S 拉取私有仓库镜像

K8S拉取私有仓库镜像在使用Kubernetes（k8s）从私有仓库拉取镜像时，会出现无法拉去镜像的情况，私有仓库需要认证才能访问，如果Kubernetes无法通过认证，就会导致拉取失败，这时我们就需要手动创建私有仓库的登录信息

·2025-01-27 05:23

web集群搭建

扩展多个web应用原因：单台web服务器能抗住的访问是有限的，配置多台web服务器能提升更高的访问速度，能够接受更多的用户请求。优点：提高冗余提高性能实现方法：1.准备web02服务器2.安装nginx和php环境[root@web01~]#scp/etc/yum.repos.d/[email protected]:/etc/yum.repos.d/nginx.repo[root@

℡永恒·2025-01-27 04:07

Docker compose v3版本构建跨主机容器编排构建wordpress集群

在Docker1.13版本之后，可以说Docker对于compose容器调度编排实现了飞跃，可以使得在编排容器的时候可以结合Dockerswarm集群和跨主机通讯的概念。

weixin_34095889·2025-01-27 04:34

Docker Swarm 核心概念及详细使用

DockerSwarm核心概念及详细使用DockerSwarm介绍DockerSwarm是Docker的原生集群管理工具。

·2025-01-27 01:20

kubernetes 安装 kubernetes-dashboard 7.x

kubernetes安装kubernetes-dashboard7.x介绍Kubernetes仪表板是Kubernetes集群的通用、基于Web的UI。

·2025-01-27 01:49

ElasticSearch技术解析与实战读书笔记

术语及概念索引词term：能够被索引的精确值，索引词可以通过term查询进行准确搜索文本text：一段普通的非结构化文字，通常文本会被分析成一个个的索引词分析analysis：将文本转换为索引词的过程，依赖于分词器集群

zhangyankun_csdn·2025-01-26 23:01

Linux二进制部署K8s集群的平滑升级教程

一、升级前的准备工作备份集群配置和数据备份/etc/kubernetes/目录，其中包含Kubernetes集群的配置文件。备份/var/lib/etcd/目录，其中存储了etcd数据库的数据。

努力的小T·2025-01-26 21:43

k8s的无头服务

k8s的无头服务HeadlessServices是一种特殊的service，其spec:clusterIP表示为None，这样在实际运行时就不会被分配ClusterIP，也被称为无头服务，通过DNS解析提供服务发现

·2025-01-26 21:43

Kuberntes部署MetalLB负载均衡器

Kuberntes部署MetalLB负载均衡器MetalLB简介MetalLB是一个为基础Kubernetes集群提供负载均衡实现的工具，使用标准路由协议。