docker+swarm集群

Sealos 将计算节点加入 kubeadm 安装的 Kubernetes 集群

引言Kubernetes是云原生应用的核心平台，而kubeadm是官方推荐的Kubernetes集群部署工具。然而，随着集群规模的扩大，手动管理节点变得越来越复杂。

ivwdcwso·2025-01-20 02:22

Spark Livy 指南及livy部署访问实践

ApacheSpark是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark作业提交到集群上去执行

house.zhang·2025-01-19 22:40

大数据学习（四）：Livy的安装配置及pyspark的会话执行

一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。

猪笨是念来过倒·2025-01-19 21:08

【赵渝强老师】PostgreSQL的数据库

PostgreSQL的逻辑存储结构主要是指数据库中的各种数据库对象，包括：数据库集群、数据库、表、索引、视图等等。

·2025-01-19 19:56

【赵渝强老师】PostgreSQL的数据库集群

PostgreSQL的逻辑存储结构主要是指数据库中的各种数据库对象，包括：数据库集群、数据库、表、索引、视图等等。

·2025-01-19 19:25

Apache Doris安装部署

目录Doris简介Doris安装包下载JDK安装Doris安装单机部署安装部署规划创建用户解压安装包配置FE配置BE启动FE和BE连接Doris集群添加BE节点修改root和admin用户的密码创建数据库和数据表停止

ErbaoLiu·2025-01-19 19:47

【赵渝强老师】Kubernetes中Pod的探针

在K8s集群中，当Pod处于运行状态时，kubelet通过使用探针（Probe）对容器的健康状态执行检查和诊断。Kubernetes支持的三种类型的探针。

·2025-01-19 18:48

doris 安装部署

FE：存储和维护集群的元数据，负责接收和解析用户的查询请求，规划查询计化，调度查询结果，FE主要分为三个角色：Leader、Follower、ObserverLeader和Follower主要是用来实现

猫猫姐·2025-01-19 18:13

如何搭建K8S集群

目录一、环境规划二、环境准备2.1搭建流程概述：2.2安装环境准备2.2.1升级系统内核2.2.2设置主机名和hosts本地解析2.2.3关闭防火墙和SELinux2.2.4时间同步2.2.5关闭swap分区2.2.6将桥接的IPv4流量传递到iptables链2.2.7开启ipvs2.2.8重启机器2.3容器化环境和组件安装2.3.1Docker安装2.3.2设置Docker镜像加速器：2.3.

江湖风云令·2025-01-19 18:09

【赵渝强老师】PostgreSQL的物理存储结构

PostgreSQL在执行initdb的数据库集群初始化时会指定一个目录。该目录通过环境变量$PGDATA来表示。当数据库集群初始化完成后，会在这个目录生成相关的子目录以及一些文件。

·2025-01-19 15:11

python 清空表格_python 清空表数据库表

《Greenplum5.0最佳实践》迁移数据使用Gptransfer使用Gptransfer命令迁移一个Greenplum数据库集群中的数据到另一台集群(metradata,data)gptransfer

weixin_39989190·2025-01-19 13:57

构建高效GPU算力平台：挑战、策略与未来展望

当前挑战算力分配与资源优化在多用户共享GPU集群的环境下，合理分配计算资源并确保每个任务能够高效运行是一项挑战。这不仅涉及到硬件资

Mr' 郑·2025-01-19 11:43

Shardingsphere-Proxy 5.5.0数据迁移

Shardingsphere-Proxy5.5.0数据迁移Shardingsphere系列目录：背景配置集群部署搭建Zookeeper修改shardingsphere-proxy配置重启shardingsphere-proxy

她又在丛中笑·2025-01-19 10:35

hive小文件合并机制_hive小文件的问题弊端以及合并

中每个文件的元数据信息，包括位置大小分块信息等，都保存在NN内存中，在小文件数较多的情况下，会造成占用大量内存空间，导致NN性能下降；2、在读取小文件多的目录时，MR会产生更多map数，造成GC频繁，浪费集群资源

做生活的创作者·2025-01-19 08:49

【MongoDB 分片集群架构详解】

MongoDB分片集群架构详解MongoDB分片集群架构详解1.分片简介1.1为什么要使用分片1.2垂直扩容（ScaleUp）VS水平扩容（ScaleOut）2.分片集群架构2.1核心概念2.1.1数据分片

从你全世界路过·2025-01-19 08:48

Zookeeper 数据迁移实战：基础环境搭建与高效迁移方案全览

文章目录一、Zookeeper数据迁移简介二、迁移zookeeper数据基础环境三、利用快照迁移zookeeper数据1、Node1最新的zk快照文件和日志文件2、将被迁移方node2的zookeeper的集群全部

磐基Stack专业服务团队·2025-01-19 08:43

Nacos深度剖析：配置及高可用方案全攻略

全局参数1.2Naming模块参数1.3Config模块参数1.4CMDB模块参数第2章NacosClient配置参数2.1通用参数2.2Naming客户端2.3Config客户端第3章Nacos单机与集群

磐基Stack专业服务团队·2025-01-19 08:43

Mysql----高可用集群

减轻单台服务器的访问压力同时实现数据的备份缺点：读写分离服务器主数据库从数据库都存在单点故障问题分库分表解决是的大量并发存储数据的存储压力问题和存储空间问题缺点：分片存储服务器有单点故障问题没有数据备份的功能(mysql高可用集群

晗光HG·2025-01-19 04:07

Mysql数据库高可用群集

1.1Master11.2Master22.再做主主2.1Master12.2Master23.安装Keepalived3.1Master1配置文件3.2Master2配置文件4.编写Mysql_check.sh服务检测脚本四、测试集群是否搭建成功五

一坨小橙子ovo·2025-01-19 03:51

Yarn工作机制？思维导图代码示例（java 架构)

YARN工作机制YARN（YetAnotherResourceNegotiator）是Hadoop生态系统中的资源管理和调度框架，它负责管理集群中的所有资源，并为应用程序提供调度服务。

用心去追梦·2025-01-19 02:17

单体式架构，集群，分布式架构有什么区别

编译和启动的速度会变慢2.代码冲突3.单个数据库存储能力有限4.很难在进行扩展虽然有缺点，但是他肯定还是有自己的优点的优点1.开发测试简单部署方便2.扩容简单，给应用加机器就可以由于单体架构的缺点，逐渐出现了集群集群集群就是当单体架构

highfish920·2025-01-18 23:52

K8s组件全解析，你需要知道的一切秘密

K8s的基本架构围绕着集群、节点和Pod等概念构建。一

master_chenchengg·2025-01-18 22:42

单体架构、集群架构和分布式架构概述

单体架构、集群架构和分布式架构概述在现代系统架构和开发过程中，单体架构、集群架构和分布式架构是三个常见且关键的概念。本文将详细介绍这些技术的相关概念，并探讨它们之间的联系与区别。

JoyousHorse·2025-01-18 21:01

kafka+connector集群迁移

示例环境ip部署信息备注192.168.181.121zookeeper、kafka、connecter待迁移集群节点1192.168.181.14zookeeper、kafka、connecter待迁移集群节点

mark.meng·2025-01-18 20:47

keepalived+haproxy实现高可用集群

实验环境172.16.32.21172.16.32.22Vip:172.16.32.301.部署httpd测试服务yuminstallhttpdecho"172.16.32.22">>/var/www/html/id.htmlsystemctlstarthttpdcurl172.16.32.22/id.html172.16.32.222.部署haproxy实现负载均衡yuminstallhapro

mark.meng·2025-01-18 20:17

Nginx 集群测试

在Nginx集群的部署和维护过程中，为了确保系统的高可用性、性能和扩展性，必须进行全面的测试。

小馋喵知识杂货铺·2025-01-18 18:02

集群间hive数仓迁移

方式一：(此方法需要建库建表)第一步：建库建表在原集群hive上查看迁移表的建表语句及所在库，然后在新集群hive上建库建表；showcreatetabletb_name;createdatabasedb_name

one code·2025-01-18 17:15

【大数据学习 | kafka】kafka的组件架构

broker:每个kafka的机器节点都会运行一个进程，这个进程叫做broker，负责管理自身的topic和partition，以及数据的存储和处理，因为kafka是集群形式的，所以一个集群中会存在多个

Vez'nan的幸福生活·2025-01-18 10:30

keepalived 、HAProxy

KeepAlived高可用集群配置高可用的web集群监控本机80端口，实现主备切换实现原理实施配置高可用、负载均衡的web集群配置高可用、负载均衡HAProxy配置haproxy负载均衡调度器比较LVS

www.农民工·2025-01-18 10:53

Kubernetes Service负载均衡机制

当一个Service对象在Kubernetes集群中被定义出来时，集群内的客户端应用就可以通过服务IP访问到具体的Pod容器提供的服务了。

蓝颜～岁月·2025-01-18 09:52

Haproxy 负载均衡集群

|br0router192.168.29.128vip:192.168.29.128192.168.29.128/32修改内核参数servicehttpdstart测试：找宿主机http://192.168.29.128找同学去访问:确保它的电脑没有192.168.29.0/24网络却把把网关指向宿主机10网段的IP再去访问http://192.168.29.128三、部署memcached把机器

weixin_34348805·2025-01-18 09:22

K8S集群常用命令

1，查看podkubectlgetpods-A查看所有的podkubectlgetpods这个只查看namespace为default下的pod，也就是只查看默认命名空间下的podkubectlgetpod-A-owide查看所有的pod，并且放出的信息更全（包含了pod的ip）2，查看pod的具体信息kubectldescribepodmy-pod-nmy-namespace查看命名空间my-n

年薪丰厚·2025-01-18 09:19

Kubernetes--Service负载均衡机制

一、负责均衡机制当一个Service对象在Kubernetes集群中被定义，集群内的客户端应用就可以通过服务IP访问到具体的Pod容器提供的服务器了。

GaoChuang_·2025-01-18 08:10

使用 Kubernetes 实现负载均衡

一、Kubernetes负载均衡的基本概念ClusterIP（默认类型）只能在集群内部访问，分发到Pod的流量通过IPtables或IPVS转发。NodePort通过每个节点的固定端口将流量暴露给外部

卫玠_juncheng·2025-01-18 08:38

如何通过 Nginx 实现 CouchDB 集群的负载均衡并监控请求分发

本文将详细介绍如何通过Nginx实现CouchDB集群的负载均衡，并监控请求被分发到哪一台CouchDB节点。1.为什么需要负载均衡？CouchDB集群由多个节点组成，每个节点都可以处理请求。

田猿笔记·2025-01-18 07:36

智算中心建设热潮涌动 AI服务器赋能加速

2022年，随着国家“东数西算”工程启动，我国算力地图正式开始，形成八大枢纽、十大算力中心集群。据中国电信研究院发布的《智算产业发展研究报告（202

·2025-01-18 05:43

Redis 3种持久化机制

大部分原因是为了之后重用数据（比如重启机器、机器故障之后恢复数据），或者是为了做数据同步（比如Redis集群的主从节点通过RDB文件同步数据）。

妖怪兮诺‍·2025-01-18 00:12

如何实现集群部署

集群部署是指将多个计算节点（通常是服务器）组合在一起，形成一个协同工作的系统，以提供更高的性能、可用性和可靠性。集群部署广泛应用于各种场景，如Web服务、数据库、大数据处理等。

DaXiongJoker·2025-01-17 21:49

Redis集群部署——sentinel模式

容器化运行sentinel实例1、获取sentinel.conf配置文件从官网下载对应的tar包，解压找到对应的sentinel.conf配置文件，修改其中的配置文件注意：#设置监听节点，最后的数字2是quorum，表示客观下线时需要多少哨兵服务同意sentinelmonitormaster63792#设置验证密码避免不必要的错误信息sentinelauth-passmaster123456#设置

学!学!学·2025-01-17 21:48

搭建k8s集群

由于格式和图片解析问题，为了更好体验，可前往阅读原文本文带着大家按照官方文档进行k8s搭建，环境是基于arm架构centos7.9的虚拟机环境进行的，如果你使用的是非ARM架构的系统，仍然可以参考文章指导，而涉及到的一些安装链接需要根据情况替换成兼容你自己系统的链接本次安装的版本为1.26.0版本，将会通过多种工具进行搭建，如：minikube、kubeadm等等现阶段k8s的迭代速度还是很快的，

·2025-01-17 20:45

如何在 K8s 上部署 KRaft 模式 Kafka 集群？

首发：运维有术今天分享的主题是：不使用Helm、Operator，如何在K8s集群上手工部署一个开启SASL认证的KRaft模式的Kafka集群？

·2025-01-17 19:07

深入 Kubernetes 的健康奥秘：探针（Probe）究竟有多强？

探针（Probe）的作用就像集群的“健康监护员”，负责检测和管理容器的健康状态。没有它，K8s的稳定性和高可用性可能会大打折扣。本文将从探针的原理讲起，结合实际场景深入解析它

·2025-01-17 19:06

Redis集群部署详解：主从复制、Sentinel哨兵模式与Cluster集群的工作原理与配置

集群部署形式1、主从复制1.1工作机制1.2配置实现1.3优缺点1.4部署形式1.5主从复制优化2、Sentinel哨兵模式2.1工作机制2.2配置实现2.3优缺点2.4哨兵机制选举流程2.5脑裂问题解决方案

niaonao·2025-01-17 19:26

Kubeflow：云原生机器学习工作流自动化开源框架详解

Kubeflow的核心组件Notebooks（交互式开发环境）支持JupyterNotebooks，通过Kubernetes集群进行计算资源的扩展和管理。Pipel

gs80140·2025-01-17 17:40

RocketMQ由哪些角色组成，每个角色作用和特点是什么？思维导图代码示例（java 架构)

RocketMQ角色及特点思维导图建议NameServer作用提供路由信息管理服务负责客户端（Producer/Consumer）请求的负载均衡特点无状态节点支持集群部署简单且轻量级Broker作用消息存储的

用心去追梦·2025-01-17 15:16

分布式系统架构3：服务容错

这是小卷对分布式系统架构学习的第3篇文章，虽然知道大家都不喜欢看纯技术文章，写了也没多少阅读量，但是个人要成长的话，还是需要往深一点的技术上去探索的1.为什么需要容错分布式系统的本质是不可靠的，一个大的服务集群中

·2025-01-17 14:38

微服务-高级篇

2.理论基础3.部署与集成Seata4.Seata的四种模式5.Seata高可用三、分布式缓存1.Redis持久化2.搭建主从架构与哨兵模式3.RedisTemplate的哨兵模式4.Redis分片集群数据迁移

爪哇哇哇哇·2025-01-17 13:03

Kubernetes:基础的架构

kubernetes的一个简单机构图形k8s主要分为两个大结构：1控制面：master是集群的大脑和心脏2数据面：worker主要在master的指挥下进行工作，也称之为nodekubectl是k8s的管理工具我们可以使用

土豆凌凌七·2025-01-17 12:59

Kubernetes集群架构-关于 cgroup v2

Kubernetes集群架构-关于cgroupv2Kubernetes集群架构-关于cgroupv2什么是cgroupv2?

qichengzong_right·2025-01-17 12:23

浅谈云计算02 | 云计算模式的演进

云计算计算模式的演进一、云计算计算模式的起源追溯1.2个人计算机与桌面计算二、云计算计算模式的发展阶段2.1效用计算的出现2.2客户机/服务器模式2.3集群计算2.4服务计算2.5分布式计算2.6网格计算三

时光札记z·2025-01-17 09:56

推荐频道