liunx集群

【微服务与分布式实践】探索 Eureka

当节点在短时间内丢失过多的心跳时，那么这个节点就会进入自我保护模式，以防止因网络问题导致的服务注册失败高可用：注册中心集群模式、互相注册、服务同步AP（保证可用性，放弃数据一致性）服务注册服务心跳续约、

Forest 森林·2025-01-28 20:12

分布式微服务系统架构第88集：kafka集群

使用集群最大的好处是可以跨服务器进行负载均衡，再则就是可以使用复制功能来避免因单点故障造成的数据丢失。在维护Kafka或底层系统时，使用集群可以确保为客户端提供高可用性。

掘金-我是哪吒·2025-01-28 18:27

kuberay 安装和使用

KubeRay是一个基于Kubernetes的项目，旨在简化在Kubernetes上部署和管理Ray集群的过程。

CHEN_RUI_2200·2025-01-28 14:27

RDD 算子全面解析：从基础到进阶与面试要点

Spark的介绍与搭建：从理论到实践_spark环境搭建-CSDN博客Spark的Standalone集群环境安装与测试-CSDN博客PySpark本地开发环境搭建与实践-CSDN博客Spark程序开发与提交

天冬忘忧·2025-01-28 12:16

【elasticsearch】如何更新许可证（License）

在Elasticsearch中，**许可证（License）**用于控制集群的功能和权限。

risc123456·2025-01-28 11:04

【MQ】如何保证消息队列的高可用？

RocketMQNameServer集群部署Broker做了集群部署主从模式类型：同步复制、异步复制主节点返回消息给客户端的时候是否需要同步从节点Dledger：要求至少消息复制到半数以上的节点之后，才给客户端返回写入成功

Forest 森林·2025-01-28 09:24

日志收集Day008

1.zk集群优化修改zookeeper的堆内存大小，一般情况下，生产环境给到2G足以，如果规模较大可以适当调大到4G。

ccnnlxc·2025-01-28 07:16

大数据小白系列——YARN(1)

A:在一个具有成百上千节点的集群上(这很常见)，资源管理十分重要，一个好的资源管理系统可以充分发挥各节点的能力，避免一些节点忙碌，

weixin_44386638·2025-01-28 07:13

redis分布式锁与redsync库源码分析

一.redlock算法单点场景首先来看单redis实例的场景，这是集群模式的基础。

阿鹏哥哥01·2025-01-28 07:13

Hadoop学习笔记 --- YARN执行流程与工作原理

MapReduce1中的JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进行实现；ResourceManager：负责整个集群的资源管理和调度

杨鑫newlfe·2025-01-28 07:42

基于Multi-Agent的无人机集群体系自主作战系统设计

源自：系统工程与电子技术作者：张堃,华帅,袁斌林,杜睿怡“人工智能技术与咨询”发布摘要针对无人集群自主作战体系设计中的关键问题,提出基于Multi-Agent的无人集群自主作战系统设计方法。

龙腾亚太·2025-01-28 05:30

无人机低成本集群技术实现详解

其中，无人机集群技术作为提高任务效率、降低成本的重要手段，正受到越来越多的关注。

无人机技术圈·2025-01-28 05:59

真实互联网线上系统JVM内存溢出排查流程(文末彩蛋)

期间发现集群中每台应用服务器JVM内存使用率高达96%左右，存在瞬间内存打满，导致服务瘫痪情况。

程序健跑人生·2025-01-28 03:12

【面试题】构建高并发、高可用服务架构：技术选型与设计

监控系统消息队列缓存层数据存储层应用层Web层负载均衡与流量分配GrafanaPrometheusAlertmanager消息队列Kafka/RabbitMQ集群/镜像队列缓存层Redis/Memcached

言之。·2025-01-28 02:05

K8S中高级存储之PV和PVC

PV（PersistentVolume）PV是Kubernetes中的一个API对象，它代表集群中的一块存储，这块存储已经预先按照某种方式设置好了，并且可以被多个用户使用。

元气满满的热码式·2025-01-28 00:19

【常用bsub指令介绍】使用bsub命令提交作业、开启交互式窗口，在集群服务器上用pdb进行代码调试

目录1.LSF作业调度系统和服务器集群介绍2.bsub运行作业的两种方式2.1bsub直接提交作业2.2bsub开启交互式窗口3.使用pdb进行代码调试4.更多bsub指令分享1.LSF作业调度系统和服务器集群介绍在一个服务器集群中

凌漪_·2025-01-28 00:16

软考高级系统架构设计师系列之：分布式存储技术

分布式存储技术集群存储技术。集群存储系统是指架构在一个可扩充服务器集群中的文

快乐骑行^_^·2025-01-27 23:13

k8s的主要组件以及重要概念

它采用主从设备模型（Master-Slave架构），其中Master节点负责集群的调度、管理和运维，Slave节点（也被称为WorkerNode节点）负责执行工作负载。

linshuai-on·2025-01-27 21:32

菜鸟BUG之常见异常（一）

雷声炸响，天地倾斜，海啸山崩，黎明前的曙光迟迟不现，群魔乱舞霍乱人间，有仙师集群英之心血，持剑出山，剑斩群魔，终于仙巅同最后一大魔同归于尽，然有人的江湖便有魔，为警示后人，群贤集巨力书群魔以息，吾初入江湖

苏白辛·2025-01-27 21:57

helm介绍和helm部署应用到k8s集群（helm+k8s）——详细文档

helm介绍和helm部署应用到k8s集群（helm+k8s）——详细笔记整理文档相关配套软件包和文档网盘地址:https://url28.ctfile.com/f/37115828-599686627

运维实战课程·2025-01-27 20:51

虚拟服务器的外部跟内部端口,虚拟服务器设置外部端口

您需要创建一个至少包含一个节点的集群，且该节点已绑定弹性IP。集群是运行工作负载的逻辑分组，包含一组云服务器资源，每台云服务器即集群中的一个节点。使用外部镜像文件创建私有

验行客·2025-01-27 19:14

使用Ambassador容器构建docker容器集群

当两个Docker容器在同一主机（或虚拟机）时，可以通过--link命令让两者直接互相访问。如果要跨主机实现容器互联，则往往需要容器知道物理主机的ip地址。利用Ambassador容器机制，可以让互联的容器无需知道所在物理主机的IP地址即可互联。基本场景Ambassador容器也是一种docker容器，她在内部提供了转发服务。如下图。当客户端容器要访问服务器时，直接访问客户端Ambassador容

安心Smile·2025-01-27 17:33

kubernetes 查询容器的 network namespace

尽管Linux内核提供了各种类型的名称空间，在本文中，我们将研究如何查看Kubernetes集群中容器的networknamespace，这对于故障排除和学习非常有用。

安心Smile·2025-01-27 17:02

2022-02-09大数据学习日志——PySpark——Spark快速入门&Standalone集群

第一部分Spark快速入门01_Spark快速入门【Anaconda软件安装】[掌握]使用Python编写Spark代码，首先需要安装Python语言包，此时安装Anaconda科学数据分析包。Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。Anaconda是跨平台的，有Windows、MacOS、Linux版本。#下载地址：ht

王络不稳定·2025-01-27 17:28

spark2如何集成到cdh里

最近做性能测试需要spark2测试下和spark1.6性能有多大差别，官方文档里写着可以集成，但是自己怎么搞都不行，折磨了3天的时间，目前终于把spark2集成到集群里了我安装的是最新版本的下载spark2

蘑菇丁·2025-01-27 16:55

大数据之Spark运行流程

文章目录前言（一）SparkOnYarn集群的Client模式运行流程（二）SparkOnYarn集群的Cluster模式运行流程总结前言上篇文章有讨论到SparkOnYarn的两种部署模式，如果有不清楚的地方

「已注销」·2025-01-27 15:17

K8S知识点

1.查看Pod状态详情列出所有Pod：使用kubectlgetpods命令可以查看集群所有Pod的概览信息，包括名称、状态、IP地址等。

余额很不足·2025-01-27 15:12

springboot kafka配置与使用

org.springframework.kafkaspring-kafkaapplication配置可以根据情况只配置生产着或消费者spring:kafka:#以逗号分隔的地址列表，用于建立与Kafka集群的初始连接

摘星喵Pro·2025-01-27 10:43

HDFS升级和回退

概述作为一个大型的分布式系统，Hadoop内部实现了一套升级机制，当在一个集群上升级Hadoop时，像其他的软件升级一样，可能会有新的bug或一些会影响现有应用的非兼容性变更出现；在任何有实际意义的HDFS

小森饭·2025-01-27 08:05

mysql Pxc工作原理_浅谈MySQL-PXC架构

一、PXC概述PXC是基于Galera协议的MySQL高可用集群架构。具有高可用性、方便扩展且可以实现多个MySQL节点间的数据同步复制和读写，保证数据的强一致性。

wei小彦·2025-01-27 07:26

kubernetes 核心技术-探针

在Kubernetes集群中，容器的健康状态对于确保应用的稳定性和可靠性至关重要。

難釋懷·2025-01-27 07:53

web集群搭建

扩展多个web应用原因：单台web服务器能抗住的访问是有限的，配置多台web服务器能提升更高的访问速度，能够接受更多的用户请求。优点：提高冗余提高性能实现方法：1.准备web02服务器2.安装nginx和php环境[root@web01~]#scp/etc/yum.repos.d/[email protected]:/etc/yum.repos.d/nginx.repo[root@

℡永恒·2025-01-27 04:07

Docker compose v3版本构建跨主机容器编排构建wordpress集群

在Docker1.13版本之后，可以说Docker对于compose容器调度编排实现了飞跃，可以使得在编排容器的时候可以结合Dockerswarm集群和跨主机通讯的概念。

weixin_34095889·2025-01-27 04:34

Docker Swarm 核心概念及详细使用

DockerSwarm核心概念及详细使用DockerSwarm介绍DockerSwarm是Docker的原生集群管理工具。

·2025-01-27 01:20

kubernetes 安装 kubernetes-dashboard 7.x

kubernetes安装kubernetes-dashboard7.x介绍Kubernetes仪表板是Kubernetes集群的通用、基于Web的UI。

·2025-01-27 01:49

ElasticSearch技术解析与实战读书笔记

术语及概念索引词term：能够被索引的精确值，索引词可以通过term查询进行准确搜索文本text：一段普通的非结构化文字，通常文本会被分析成一个个的索引词分析analysis：将文本转换为索引词的过程，依赖于分词器集群

zhangyankun_csdn·2025-01-26 23:01

Linux二进制部署K8s集群的平滑升级教程

一、升级前的准备工作备份集群配置和数据备份/etc/kubernetes/目录，其中包含Kubernetes集群的配置文件。备份/var/lib/etcd/目录，其中存储了etcd数据库的数据。

努力的小T·2025-01-26 21:43

Kuberntes部署MetalLB负载均衡器

Kuberntes部署MetalLB负载均衡器MetalLB简介MetalLB是一个为基础Kubernetes集群提供负载均衡实现的工具，使用标准路由协议。

·2025-01-26 21:43

Redis主从模式部署

Redis主从模式部署主从模式是Redis三种集群模式中最简单的，主数据库(master)和从数据库(slave)。

·2025-01-26 21:42

使用kubeadm部署高可用IPV4/IPV6集群

使用kubeadm部署高可用IPV4/IPV6集群https://github.com/cby-chen/Kubernetes开源不易，帮忙点个star，谢谢了介绍kubernetes（k8s）二进制高可用安装部署

·2025-01-26 20:11

es+kibana+logstash快速安装上手

Elasticsearch安装上手Elasticsearch安装与简单配置目录结构bin脚本文件，启动脚本，安装插件，运行统计数据等config集群配置文件JDKjava运行环境data数据文件libjava

DoloresOOO·2025-01-26 20:37

Kafka 生产者中的ack的配置

在同步发送的前提下，⽣产者在获得集群返回的ack之前会⼀直阻塞。那么集群什么时候返回ack呢？

欧阳冰轩·2025-01-26 20:04

【53】Camunda8-Zeebe核心引擎-Partitions分区与Internal processing内部处理

在broker集群中，分区分布在节点之间，因此可以将其视为分片。启动/初始化Zeebe集群时，用户可以配置所需的分区数。如果使用过Kafka，这部分内容是比较相似的。

AlieNeny·2025-01-26 18:25

PingCAP TiDB数据库专员PCTA认证笔记

三层架构：PD（PlacementDriver）负责集群元信息管理和调度，TiDB负责sql计算，TiKV负责存储存储引擎1、基于LSM-Tree的RocksDB引擎，比B-Tree写入更快，用空间置换写入延迟

handsomestWei·2025-01-26 18:51

xgboost在spark集群使用指南

简介XGBoost是一个优化的分布式梯度增强库，具有高效、灵活和可移植性。在梯度增强框架下实现了机器学习算法。XGBoost提供了一种并行树增强(也称为GBDT、GBM)，可以快速、准确地解决许多数据科学问题。相同的代码在主要的分布式环境(Hadoop、SGE、MPI)上运行，可以解决数十亿个示例的训练问题。xgb相对于gbt所做的改进：1.2.3.XGBoost可以使用R、python、java

一颗小草333·2025-01-26 17:49

使用GitLab CI/CD部署应用到Kubernetes集群的方案

最近业余时间调研了一下在GitLabCI/CD中部署应用到Kubernetes的方案。这是一个老生常谈的话题，很多粉丝和读者问我如何部署应用到K8s中。其实思路是很清晰的，只是其中又很多点大家可能无法串起来。那么本篇文章就带领大家实践一下如何做CD的方案。本方案的好处就是，读者不需要了解太多关K8s相关知识也可以实现该方案。Kubernets的命令行工具是kubectl。就像我们使用docker命

拿我格子衫来·2025-01-26 12:39

轻松搞定应用产品上架，全面提升部署质量与一致性！

汉得鲲苍基础架构管理平台的核心目标是为企业的异构系统提供简单高效的一站式统一闭环管理能力，包括统一资源（集群、主机、存储等）管理、统一应用及部署管理、统一监控管理、统一服务治理，帮助企业实现更快、更好、

·2025-01-26 12:58

zabbix监控网络设备流量

项目环境一台liunx服务器，这里使用的为ubuntu22.04(192.168.86.140)一台华为交换机，本次监控的就是该交换机的端口流量(192.168.86.20)一台pc主机，使用该主机模拟流量变化

!chen·2025-01-26 08:36

k8s-实战——ES集群部署

文章目录yaml文件es-pvc.yamles-svc.yamles-cluster-sts.yaml创建elasticsearch集群yaml文件es-pvc.yaml通过nfs服务进行新增pv并通过

北城半夏·2025-01-26 06:21

用 Docker 搭建 Spark 集群

简介Spark是Berkeley开发的分布式计算的框架，相对于Hadoop来说，Spark可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。熟悉Hadoop的同学也不必担心，Spark很多设计理念和用法都跟Hadoop保持一致和相似，并且在使用上完全兼容HDFS。但是Spark的安装并不容易，依赖包括Java、Scala、HDFS等。通过使用Docker，可以快速的在本地

yeasy·2025-01-26 00:22

推荐频道