运维-集群第32页

xgboost在spark集群使用指南

简介XGBoost是一个优化的分布式梯度增强库，具有高效、灵活和可移植性。在梯度增强框架下实现了机器学习算法。XGBoost提供了一种并行树增强(也称为GBDT、GBM)，可以快速、准确地解决许多数据科学问题。相同的代码在主要的分布式环境(Hadoop、SGE、MPI)上运行，可以解决数十亿个示例的训练问题。xgb相对于gbt所做的改进：1.2.3.XGBoost可以使用R、python、java

一颗小草333·2025-01-26 17:49

XXL-RPC v1.9.0 | RPC服务框架

XxlRpcRegister(xxl-rpc-admin)迁移，整合至XXL-CONF：XXL-CONF：一站式服务管理平台（配置中心、注册中心），提供动态配置管理、服务注册及发现能力；降低中间件认知及运维成本

·2025-01-26 16:07

使用GitLab CI/CD部署应用到Kubernetes集群的方案

最近业余时间调研了一下在GitLabCI/CD中部署应用到Kubernetes的方案。这是一个老生常谈的话题，很多粉丝和读者问我如何部署应用到K8s中。其实思路是很清晰的，只是其中又很多点大家可能无法串起来。那么本篇文章就带领大家实践一下如何做CD的方案。本方案的好处就是，读者不需要了解太多关K8s相关知识也可以实现该方案。Kubernets的命令行工具是kubectl。就像我们使用docker命

拿我格子衫来·2025-01-26 12:39

轻松搞定应用产品上架，全面提升部署质量与一致性！

汉得鲲苍基础架构管理平台的核心目标是为企业的异构系统提供简单高效的一站式统一闭环管理能力，包括统一资源（集群、主机、存储等）管理、统一应用及部署管理、统一监控管理、统一服务治理，帮助企业实现更快、更好、

·2025-01-26 12:58

filebeat收集各种类型日志写入logstash，再从logstash中读取日志写入kafka中(有filebeat)

filebeat收集各种类型日志写入logstash，再从logstash中读取日志写入kafka中(有filebeat)如果对运维课程感兴趣，可以在b站上、A站或csdn上搜索我的账号：运维实战课程，

运维实战课程·2025-01-26 11:58

企业数字化运维运营体系规划设计方案PPT

这份文件是关于企业数字化运维运营体系规划设计的综合解决方案，主要围绕构建高效、安全、稳定和集约的运维运营体系展开。

公众号：优享智库·2025-01-26 08:04

运维平台的建设思考

自己最近也在琢磨如何搭建出一个完善有效的运维平台，当然这个工作不是一朝一夕就能完成，前行的道路上肯定会有各种各样的困难和牵绊，但是自己还是能够学以致用，把一些重复性，繁琐性的工作都能解放出来，能够更加关注于更高的一个层级来看待整个系统

congbao6525·2025-01-26 07:28

k8s-实战——ES集群部署

文章目录yaml文件es-pvc.yamles-svc.yamles-cluster-sts.yaml创建elasticsearch集群yaml文件es-pvc.yaml通过nfs服务进行新增pv并通过

北城半夏·2025-01-26 06:21

用 Docker 搭建 Spark 集群

简介Spark是Berkeley开发的分布式计算的框架，相对于Hadoop来说，Spark可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。熟悉Hadoop的同学也不必担心，Spark很多设计理念和用法都跟Hadoop保持一致和相似，并且在使用上完全兼容HDFS。但是Spark的安装并不容易，依赖包括Java、Scala、HDFS等。通过使用Docker，可以快速的在本地

yeasy·2025-01-26 00:22

rockylinux9.4单master节点k8s1.28集群部署

kubernetes集群部署常见的k8s部署方式包括：二进制包、kubeadm工具、云服务提供商、或通过一些开源的工具搭建，例如：sealos、kuboard、Runcher、kubeSphere。

大白菜和MySQL·2025-01-25 23:48

XXL-CONF v1.7.0 | 分布式服务管理平台（配置中心 & 注册中心）

ReleaseNotes1、【升级】XXL-CONF升级重构，XXL-CONF是一站式服务管理平台，作为服务配置中心与注册中心，提供动态配置管理、服务注册与发现等核心能力；降低中间件认知及运维成本；2、

·2025-01-25 23:45

华为云云原生王者之路集训营（黄金-第五章)

在Kubernetes中，Pod代表的是集群上处于运行状态的一组容器。四种负载：无状态工作负载：管理的Pod集合是相互等价的，需要的时候可

※网络笨猪※·2025-01-25 23:16

Redis集群的高可用架构及维护

Redis集群作为一款开源内存键值存储数据库，在高性能、易用性等方面都给予了开发者更高的满意度。

AI天才研究院·2025-01-25 22:40

各类运维工具下载地址维护

tomcat：Indexof/dist/tomcat/tomcat-8Indexof/dist/tomcat/tomcat-9Indexof/dist/tomcat/tomcat-10jdk：JavaDownloads|Oracle

容器云服务·2025-01-25 19:49

智能运维分析决策系统：赋能数字化转型的智慧引擎

智能运维分析决策系统：赋能数字化转型的智慧引擎在数字化转型的大潮中，企业运维管理正经历着从传统手动运维向智能化、自动化运维的深刻转变。

我的运维人生·2025-01-25 19:49

一图解锁 | 运维管理到工具体系的建设逻辑

本文来自腾讯蓝鲸智云社区用户:CanWay在数字化转型的大潮中，运维作为企业IT架构的关键环节，正面临着前所未有的挑战与机遇。如何利用先进的技术手段，提升运维效率和质量，成为业界关注的焦点。

·2025-01-25 19:10

centos7安装jumpserver堡垒机

但跳板机的缺点是没有实现对运维人员操作行为的控制和审计，出现误操作或违规操作难以定位到原因和责任人；并且跳板机存在严重的安全风险，如果跳板机系统被攻入，则后端资源完全暴露无遗。

落花_忆流年·2025-01-25 19:46

mha mysql 两台机器_MySQL主从复制（8）MHA实现主从高可用

MHA由管理节点(Manager)和数据节点(Node)组成，一套MHAManager可以管理多套MySQL集群。

日签君AIUX·2025-01-25 16:24

基于MySQL8.0安装部署MHA集群（一主两从）

写在前面之前搭建过MySQL5.7版本的MHA集群，因为一些需要，现进行MySQL8.0版本的MHA集群搭建，搭建步骤基本与5.7版本相似，所以某些测试部分、问题解决、安装包、mha的IP漂移配置文件可以参照我之前写的博文

收买神的欢心·2025-01-25 16:53

mysql8 MHA集群部署

服务器环境系统主机名IPcentos7.9mha-master192.168.200.41、192.168.200.45（vip）centos7.9mha-slave01192.168.200.42centos7.9mha-slave02192.168.200.43centos7.9mha-monitor192.168.200.40SSH互信mha-master、mha-slave01、mha-s

L白眸·2025-01-25 15:52

redis原理

RESP持久化持久化具体实现1.RDB(RedisDataBase)2.AOF(AppendOnlyFile)事务相关命令主从复制拓扑结构同步过程部分复制实时复制哨兵（Sentinel）哨兵选取主节点流程集群数据分片主节点宕机集群扩容缓存缓存更新缓存预热

小哲会嘿魔法·2025-01-25 15:47

浅谈 redis

可以集群部署，数据在各个机器上都有备份，挂了一台机器，可以从其他机器上找到数据。集群带来主从节点机制，一般至少需要3个节点来选举出主节点，也可以指定主节点。主从同步问题，会导致数据不一致。

BigDeng_2014·2025-01-25 13:06

kafka内部工作机制

集群中成员关系kafka使用zookeeper来维护成员信息。

一只叫狗的猫·2025-01-25 13:03

python做并行计算_python做并行计算可以吗

角动量不守恒·2025-01-25 13:31

python并行计算

系统可以直观地与本地或网络的计算节点集群进行交互，而不管集群的实现方式如何。这种易于交互使用帮助IPython和Python

weixin_30894389·2025-01-25 12:00

redis清空缓存

提示：“奔跑吧邓邓子”的高效运维专栏聚焦于各类运维场景中的实际操作与问题解决。

奔跑吧邓邓子·2025-01-25 12:29

Zookeeper（26）Zookeeper的ZAB协议是什么？

它的设计目标是确保在任何时候，集群中的所有节点都能看到相同的事务更新顺序，从而保证数据的一致性。

辞暮尔尔-烟火年年·2025-01-25 12:58

【Kafka：概念、架构与应用】

2.2消费者（Consumer）2.3主题（Topic）2.4分区（Partition）2.5消息偏移量（Offset）2.6消费组（ConsumerGroup）Kafka的架构设计3.1Broker与集群

三日看尽长安花·2025-01-25 12:28

Kafka：架构与核心机制

1.Kafka的架构1.1组件概述Kafka的架构由多个组件构成，主要包括以下部分：Broker：Kafka集群中的服务器，每个Broker存储一部分消息。

J老熊·2025-01-25 11:49

DigitalOcean Kubernetes现已支持VPC natvie集群

DigitalOceanKubernetes(DOKS)的VPCnatvie集群功能现已正式上线！

DO_Community·2025-01-25 09:37

利用Kubespray安装生产环境的k8s集群-排错篇

利用Kubespray安装生产环境的k8s集群-排错Ansible排错Ansible安装后需要加入到PATH，以便能够直接运行。

超级阿飞·2025-01-25 08:30

Oracle、PostgreSQL该学哪一个？

从事数据库运维一线工作的老鸟，经常会有人来问我：“Oracle和PostgreSQL，我该学哪个？哪个更有职业发展前景？”今天就来和大家好好唠唠。先说说Oracle。

leegong23111·2025-01-25 08:54

不同hive集群中基于表的数据一致性比对

前阵子博主遇到一个需求，因对hadoop集群进行数据迁移，数据迁移完毕后进行两个hive库的数据一致性的比对，不仅对源表数据进行比对，而且要同时使用两个集群加工相同数据，对加工后的数据进行数据一致性比对

AA赵师傅·2025-01-25 07:19

Hadoop、Hive、Hbase集群间的数据迁移

一、hadoop集群间拷贝数据：迁移之前需要把两个集群的所有节点都互通/etc/hosts文件（重要，包括各个数据节点）两个集群版本不相同hadoopdistcphftp://192.168.57.73

这个操蛋的人生！！！·2025-01-25 07:18

mysql主从数据一致性怎么校验_mysql主从数据一致性校验及纠错工具

目录1、概述2、percona-tooldit工具的安装3、新建用户4、pt-table-checksum使用5、pt-table-sync使用6、个人总结1、概述假如你是一位运维人员，假如你生产环境上目录

Oliverzzzhang·2025-01-25 07:47

Hive之数据迁移方案(实测)

文章目录Hive的迁移涉及两个技术点：1.仅迁移元数据2.元数据及Hive数据全量迁移2.1全表迁移2.1.1旧集群2.1.2新集群2.2仅部分分区迁移（主要步骤）2.1.1旧集群2.1.2新集群2.3beeline

南风知我意丿·2025-01-25 06:11

202年寒假充电计划——自学手册网络安全（黑客技术）

前言什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。

网安康sir·2025-01-25 06:09

16 分布式session和无状态的会话

如果以集群的方式部署，用户登录的session存储在该次登录的服务器节点上，如果下次访问服务端的请求落到其他节点上就需要重新生成session，这样用户需要频繁的登录。

40岁的系统架构师·2025-01-25 06:09

【原创】运维基础之OpenResty(Nginx+Lua)+Kafka

使用docker部署1下载#wgethttps://github.com/doujiang24/lua-resty-kafka/archive/v0.06.tar.gz#tarxvfv0.06.tar.gz2准备配置文件testkafka.conf#vitestkafka.conflua_package_path"/usr/local/openresty/lualib/resty/kafka/?.

weixin_30293079·2025-01-25 04:29

openresty+lua+kafka 日志采集

根据业务把不同的日志发送到不同主题中数据实时性高性能保证方案一自己写个接收程序转发到kafka方案二采用nginx+lua方案采用方案二，原因是nginx高性能，编写代码少，维护少，满足业务场景实施步骤线上请求到nginx后，使用lua组装json格式日志，异步发送到kafka集群根据不同业务日志

CHENYANG123·2025-01-25 03:50

2025年转行进入网络安全领域薪资及工作安排与前景如何

职位类型：包括网络安全运维、信息安全管理员、安全工程师等。工作内容：监控网络、实施基本的安全防护措施、分析安全事件日志等。中级职位（3-7年经验）薪资范围：大约15k-30k/月。职位类型：包括网络

程序员羊羊·2025-01-25 02:39

redis+spring面试题

redis使用场景缓存热点数据分布式锁存储token存储短信验证码计数器全局唯一数排行榜限流购物车关注粉丝缓存失效缓存穿透缓存空结果布龙过滤器缓存击穿全局锁设置永不过期缓存雪崩设置高可用集群设置不同的过期时间本地二级缓存

·2025-01-25 01:51

mysql-slow.log-清理

mysql慢查询日志作为运维人员，磁盘空间也是监控中重要的一个环节，数据库服务器磁盘空间不足告警，有时候不是因为业务数据量大，而是因为开启了慢查询，如果my.cnf文件中log-queries-not-using-indexes

qq_33469570·2025-01-24 21:07

【云原生应用与Docker】如何在Centos7安装docker及其compose？

它能帮助企业快速响应市场变化，提高应用性能，并降低运维成本。在这个过程中，Docker作为一种开源的应用容器引擎，以其快速部署、可重复性和易于管理的特点，成为部署云原生应用的重要工具。

奇墨 ITQM·2025-01-24 18:46

奇墨ITQM智能运维系统三大优势领航企业运维管理

企业对于IT运维管理的需求日益增长且愈发复杂，奇墨ITQM智能运维系统应运而生，以其独具的优势，为企业构建先进的智能运维和管理体系，从而实现企业云成本优化。.