集群k8s 第13页

PingCAP TiDB数据库专员PCTA认证笔记

三层架构：PD（PlacementDriver）负责集群元信息管理和调度，TiDB负责sql计算，TiKV负责存储存储引擎1、基于LSM-Tree的RocksDB引擎，比B-Tree写入更快，用空间置换写入延迟

handsomestWei·2025-01-26 18:51

xgboost在spark集群使用指南

简介XGBoost是一个优化的分布式梯度增强库，具有高效、灵活和可移植性。在梯度增强框架下实现了机器学习算法。XGBoost提供了一种并行树增强(也称为GBDT、GBM)，可以快速、准确地解决许多数据科学问题。相同的代码在主要的分布式环境(Hadoop、SGE、MPI)上运行，可以解决数十亿个示例的训练问题。xgb相对于gbt所做的改进：1.2.3.XGBoost可以使用R、python、java

一颗小草333·2025-01-26 17:49

使用GitLab CI/CD部署应用到Kubernetes集群的方案

这是一个老生常谈的话题，很多粉丝和读者问我如何部署应用到K8s中。其实思路是很清晰的，只是其中又很多点大家可能无法串起来。那么本篇文章就带领大家实践一下如何做CD的方案。

拿我格子衫来·2025-01-26 12:39

轻松搞定应用产品上架，全面提升部署质量与一致性！

汉得鲲苍基础架构管理平台的核心目标是为企业的异构系统提供简单高效的一站式统一闭环管理能力，包括统一资源（集群、主机、存储等）管理、统一应用及部署管理、统一监控管理、统一服务治理，帮助企业实现更快、更好、

·2025-01-26 12:58

微服务（一）

文章目录项目地址一、微服务1.1分析User的DomianVerb和Nouns二、运行docker和k8s2.1Docker1.编写dockerfile2.创建dockerimage3.运行docker

山猪打不过家猪·2025-01-26 10:22

k8s-实战——ES集群部署

文章目录yaml文件es-pvc.yamles-svc.yamles-cluster-sts.yaml创建elasticsearch集群yaml文件es-pvc.yaml通过nfs服务进行新增pv并通过

北城半夏·2025-01-26 06:21

用 Docker 搭建 Spark 集群

简介Spark是Berkeley开发的分布式计算的框架，相对于Hadoop来说，Spark可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。熟悉Hadoop的同学也不必担心，Spark很多设计理念和用法都跟Hadoop保持一致和相似，并且在使用上完全兼容HDFS。但是Spark的安装并不容易，依赖包括Java、Scala、HDFS等。通过使用Docker，可以快速的在本地

yeasy·2025-01-26 00:22

rockylinux9.4单master节点k8s1.28集群部署

kubernetes集群部署常见的k8s部署方式包括：二进制包、kubeadm工具、云服务提供商、或通过一些开源的工具搭建，例如：sealos、kuboard、Runcher、kubeSphere。

大白菜和MySQL·2025-01-25 23:48

华为云云原生王者之路集训营（黄金-第五章)

在Kubernetes中，Pod代表的是集群上处于运行状态的一组容器。四种负载：无状态工作负载：管理的Pod集合是相互等价的，需要的时候可

※网络笨猪※·2025-01-25 23:16

Redis集群的高可用架构及维护

Redis集群作为一款开源内存键值存储数据库，在高性能、易用性等方面都给予了开发者更高的满意度。

AI天才研究院·2025-01-25 22:40

k8s pod分类、核心组件、网络模型、kubectl常用命令

假如有2个pod，pod有其生命周期，万一pod所在的节点宕机了，那么此pod将应该要在其他的节点上重建,而重建完的pod与原来的pod已经不是同一个pod了，只是两者都是运行的同一个服务而已。且每个容器都有其IP地址，重建的pod中的容器其P地址与之前的pod中容器的IP地址是不一样的，如此一来就会存在一个问题,客户端如何访问这些pod中的容器呢?措施：服务发现：就比如集贸市场的注册摊位和声明地

2501_90243308·2025-01-25 16:00

mha mysql 两台机器_MySQL主从复制（8）MHA实现主从高可用

MHA由管理节点(Manager)和数据节点(Node)组成，一套MHAManager可以管理多套MySQL集群。

日签君AIUX·2025-01-25 16:24

基于MySQL8.0安装部署MHA集群（一主两从）

写在前面之前搭建过MySQL5.7版本的MHA集群，因为一些需要，现进行MySQL8.0版本的MHA集群搭建，搭建步骤基本与5.7版本相似，所以某些测试部分、问题解决、安装包、mha的IP漂移配置文件可以参照我之前写的博文

收买神的欢心·2025-01-25 16:53

mysql8 MHA集群部署

服务器环境系统主机名IPcentos7.9mha-master192.168.200.41、192.168.200.45（vip）centos7.9mha-slave01192.168.200.42centos7.9mha-slave02192.168.200.43centos7.9mha-monitor192.168.200.40SSH互信mha-master、mha-slave01、mha-s

L白眸·2025-01-25 15:52

redis原理

RESP持久化持久化具体实现1.RDB(RedisDataBase)2.AOF(AppendOnlyFile)事务相关命令主从复制拓扑结构同步过程部分复制实时复制哨兵（Sentinel）哨兵选取主节点流程集群数据分片主节点宕机集群扩容缓存缓存更新缓存预热

小哲会嘿魔法·2025-01-25 15:47

浅谈 redis

可以集群部署，数据在各个机器上都有备份，挂了一台机器，可以从其他机器上找到数据。集群带来主从节点机制，一般至少需要3个节点来选举出主节点，也可以指定主节点。主从同步问题，会导致数据不一致。

BigDeng_2014·2025-01-25 13:06

kafka内部工作机制

集群中成员关系kafka使用zookeeper来维护成员信息。

一只叫狗的猫·2025-01-25 13:03

python做并行计算_python做并行计算可以吗

角动量不守恒·2025-01-25 13:31

python并行计算

系统可以直观地与本地或网络的计算节点集群进行交互，而不管集群的实现方式如何。这种易于交互使用帮助IPython和Python

weixin_30894389·2025-01-25 12:00

Zookeeper（26）Zookeeper的ZAB协议是什么？

它的设计目标是确保在任何时候，集群中的所有节点都能看到相同的事务更新顺序，从而保证数据的一致性。

辞暮尔尔-烟火年年·2025-01-25 12:58

【Kafka：概念、架构与应用】

2.2消费者（Consumer）2.3主题（Topic）2.4分区（Partition）2.5消息偏移量（Offset）2.6消费组（ConsumerGroup）Kafka的架构设计3.1Broker与集群

三日看尽长安花·2025-01-25 12:28

Kafka：架构与核心机制

1.Kafka的架构1.1组件概述Kafka的架构由多个组件构成，主要包括以下部分：Broker：Kafka集群中的服务器，每个Broker存储一部分消息。

J老熊·2025-01-25 11:49

DigitalOcean Kubernetes现已支持VPC natvie集群

DigitalOceanKubernetes(DOKS)的VPCnatvie集群功能现已正式上线！

DO_Community·2025-01-25 09:37

利用Kubespray安装生产环境的k8s集群-排错篇

利用Kubespray安装生产环境的k8s集群-排错Ansible排错Ansible安装后需要加入到PATH，以便能够直接运行。

超级阿飞·2025-01-25 08:30

k8s namespace绑定节点

k8snamespace绑定节点1.apiserver启用准入控制PodNodeSelector2.namespace添加注解scheduler.alpha.kubernetes.io/node-selector3

mumu2lili·2025-01-25 08:25

不同hive集群中基于表的数据一致性比对

前阵子博主遇到一个需求，因对hadoop集群进行数据迁移，数据迁移完毕后进行两个hive库的数据一致性的比对，不仅对源表数据进行比对，而且要同时使用两个集群加工相同数据，对加工后的数据进行数据一致性比对

AA赵师傅·2025-01-25 07:19

Hadoop、Hive、Hbase集群间的数据迁移

一、hadoop集群间拷贝数据：迁移之前需要把两个集群的所有节点都互通/etc/hosts文件（重要，包括各个数据节点）两个集群版本不相同hadoopdistcphftp://192.168.57.73

这个操蛋的人生！！！·2025-01-25 07:18

Hive之数据迁移方案(实测)

文章目录Hive的迁移涉及两个技术点：1.仅迁移元数据2.元数据及Hive数据全量迁移2.1全表迁移2.1.1旧集群2.1.2新集群2.2仅部分分区迁移（主要步骤）2.1.1旧集群2.1.2新集群2.3beeline

南风知我意丿·2025-01-25 06:11

16 分布式session和无状态的会话

如果以集群的方式部署，用户登录的session存储在该次登录的服务器节点上，如果下次访问服务端的请求落到其他节点上就需要重新生成session，这样用户需要频繁的登录。

40岁的系统架构师·2025-01-25 06:09

Docker多架构镜像构建踩坑记

背景公司为了做信创项目的亮点，需要将现有的一套在X86上运行的应用系统迁移到ARM服务器上运行，整个项目通过后端Java，前端VUEJS开发通过CICD做成Docker镜像在K8S里面运行。

一直学下去·2025-01-25 04:55

openresty+lua+kafka 日志采集

根据业务把不同的日志发送到不同主题中数据实时性高性能保证方案一自己写个接收程序转发到kafka方案二采用nginx+lua方案采用方案二，原因是nginx高性能，编写代码少，维护少，满足业务场景实施步骤线上请求到nginx后，使用lua组装json格式日志，异步发送到kafka集群根据不同业务日志

CHENYANG123·2025-01-25 03:50

redis+spring面试题

redis使用场景缓存热点数据分布式锁存储token存储短信验证码计数器全局唯一数排行榜限流购物车关注粉丝缓存失效缓存穿透缓存空结果布龙过滤器缓存击穿全局锁设置永不过期缓存雪崩设置高可用集群设置不同的过期时间本地二级缓存

·2025-01-25 01:51

2024 年最新基于 Spring Cloud 的微服务架构分析

如果Eureka以集群模式部署，当集群中有分片出现故障时，那

2401_83916326·2025-01-24 17:02

如何部署 Flask 应用程序到生产环境？

部署方式适用场景说明Gunicorn+Nginx适合中小型项目轻量级，性能稳定uWSGI+Nginx高性能并发、生产环境推荐生产级别，支持异步工作Docker+Kubernetes容器化部署，微服务架构适合大规模微服务集群

Channing Lewis·2025-01-24 15:15

CDH日志清理

备注:CDH版本:6.3.1背景CDH集群运行了2个多月了，根目录磁盘使用率接近80%了，需要清理CDH日志。一.查看问题CDH的日志文件一般在如下几个目录，可以通过如下代码进行查看。

只是甲·2025-01-24 14:13

Spark运行模式及Spark on Yarn两种运行模式的区别

Spark运行模式1.Standalone模式描述：Standalone模式是Spark的独立集群模式，Spark自己管理资源和调度任务。适合小型集群或个人开发环境。特点：简单易用，适合开发和测试。

DataCrafter·2025-01-24 13:03

Kubernetes入门

Kubernetes（简称K8s）是一个开源的容器编排平台，主要用于自动化应用的部署、扩展和管理。

I~Lucky·2025-01-24 13:01

【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据

一、环境准备hive安装部署参考：【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建二、hive加载Json格式数据

forest_long·2025-01-24 12:27

Kubernetes网络

Kubernetes网络Kubernetes网络模型相关概念链接Kubernetes网络模型Kubernetes网络模型由多个关键部分构建而成：在Kubernetes集群中，每个Pod都会被分配一个独一无二的

qichengzong_right·2025-01-24 10:43

在KubeFATE中定制化部署联邦学习组件的深入分析

亨利笔记·2025-01-24 10:42

y98.第六章微服务、服务网格及Envoy实战 -- 集群管理(九)

8.集群管理8.0本节话题集群管理器与服务发现机制主动健康状态检测与异常点探测负载均衡策略分布式负载均衡负载均衡算法：加权轮询、加权最少连接、环哈希、磁悬浮和随机等；区域感知路由全局负载均衡位置优先级位置权重均衡器子集熔断和连接池

Raymond运维·2025-01-24 08:53

kubectl命令

kubernetes基本概念Pod:k8s最小部署单元，一组容器的集合Deployment:最常见的控制器，用于更高级别部署和管理PodService:为一组Pod提供负载均衡，对外提供统一访问入口Label

minyao922·2025-01-24 06:04

TiDB架构特性

TiDBServerPDServerTiKVServerTiSparkTiDBOperatorTiDB核心特性水平扩展高可用TiDB存储和计算能力存储能力-TiKV-LSM计算能力-TiDBServer总结TiDB整体架构 TiDB集群主要包括三个核心组件

·2025-01-24 05:24

TiDB分布式数据库架构与核心原理

本文从整体架构、集群设计、

AI天才研究院·2025-01-24 04:21

大数据学习（七）Python3操作livy（使用pylivy模块）

pylivy是Livy的Python客户端，可以在Spark集群上轻松实现远程代码执行。安装$pipinstall-Ulivy请注意，pylivy需要Python3.6或更高版本。

猪笨是念来过倒·2025-01-24 04:46

Kubectl常用命令操作

kubectl命令格式：kubectlcommandtypenamecommand:表示子命令，用于操作kubernetes的集群资源对象，如：createdeletedescribegetapplytype

_Eden_·2025-01-24 03:11

k8s 安装nfs_k8s共享存储之nfs

特别说明：测试使用，不建议生产环境1、在master节点配置(node1)1)yum安装nfs#yum-yinstallnfs-utilsNFS的关键工具包括：主要配置文件：/etc/exports；NFS文件系统维护命令：/usr/bin/exportfs；共享资源的日志文件：/var/lib/nfs/*tab；客户端查询共享资源命令：/usr/sbin/showmount；端口配置：/etc/

weixin_39941732·2025-01-24 03:38

k8s中使用MySQL共享存储_k8s使用NFS做动态存储做mysql容器主从同步

k8s里面存储一直是比较难搞得，之前做的静态存储，写这篇文档记录一下动态存储创建的过程。

罗-Moline·2025-01-24 02:07

在K8S中，如何使用EFK实现日志的统一管理？

在Kubernetes中，EFK是一种常见的日志统一管理方案。EFK堆栈允许你收集、存储、搜素、分析和可视化容器应用程序的日志。下面是如何在Kubernetes中使用EFK实现日志统一管理的详细步骤：部署Elasticsearchelasticsearch是一个分布式、RESTful风格的搜索和分析引擎，能够解决越来越多用例的查询语言，它通常用于日志和事件数据分析。首先，你需要再kubernete

Dusk_橙子·2025-01-24 02:06

Zookeeper（23）Zookeeper的选举机制是什么？

Zookeeper的选举机制是确保在集群中始终有一个唯一的Leader。Leader负责处理所有的写请求和协调事务的提交，而Follower负责处理读请求和转发写请求给Leader。

辞暮尔尔-烟火年年·2025-01-24 02:06

推荐频道

集群k8s