spark集群

Redis集群全流程实战指南

Redis集群全流程实战指南：从零搭建到生产优化1.开篇：理解Redis集群的核心价值Redis作为高性能内存数据库，在单机模式下存在三大瓶颈：容量限制：受单机内存大小制约性能瓶颈：单节点QPS上限可用性风险
代码中の快捷键·2025-06-30 09:45

中间件复习（java向，示例代码为java），所有问题都会有链接单独解析

中间件分类典型中间件核心应用场景RPC框架Dubbo3.x、gRPC、SpringCloudOpenFeign微服务通信、跨语言调用消息队列Kafka、RocketMQ、RabbitMQ异步解耦、削峰填谷、顺序消息缓存Redis（集群
搞不懂语言的程序员·2025-06-30 03:12

GitHub Actions 实现 AWS ECS 服务的多集群安全重启方案

本文将介绍如何利用GitHubActions和AWSOIDC实现一个安全、灵活的多集群ECS服务重启方案。这个方案不仅简化了运维流程
ivwdcwso·2025-06-30 03:40

高可用系统：让服务永不中断的秘密

本文将为您揭开高可用系统的神秘面纱，带您了解集群、节点、脑裂等核心概念，并推荐最经济实用的集群架构。什么是集群与节点？集群（Cluster）集群是一组协同工作的服务器，共同完成任务。它们就
爱吃青菜的大力水手·2025-06-30 02:09

K8S必问面试题之：K8S架构中每个组件的作用

1.etcd：集群的“八卦的小本本”作用：分布式K-V（键值）存储数据库，专门记录集群的所有“秘密”，
运维爱背锅·2025-06-30 02:07

云原生灰度方案对比：服务网格灰度（Istio ） 与 K8s Ingress 灰度（Nginx Ingress ）

以下从多个维度对比分析，并给出选型建议：一、核心区别对比维度服务网格灰度（以Istio为例）K8sIngress灰度（以NginxIngress为例）架构层级网络层（L7），工作在服务间通信层面边缘网关层，工作在集群入口处流量控制范围服务间的全链路流量集群外部
大手你不懂·2025-06-29 22:41

spark写入hive表问题

1、httpclient发送post请求，当返回的数据过大时，报错socketclosed这个原因是客户端主动将连接关闭，根本原因是将httpclient。execute的返回结果closeableResponse作为a方法的返回结果，在b方法中进行解析虽然在b方法中没有关闭closeableResponse，但是在a方法中返回closeableResponse后，会进行httppost.real
qq_42265026·2025-06-29 21:30

spark解析压缩包数据，写入到hive表中

spark解析xxxxx.tar.gz形式的压缩包。压缩包里面是一个个的json文件或者zip的文件，zip里面是json文件。
dbbigdata·2025-06-29 21:59

【赵渝强老师】OceanBase数据库从零开始：Oracle模式

aid=114720556191...下面详细介绍一下每一章的主要内容：第01章-OceanBase的体系架构本章主要介绍OceanBase分布式数据库集群的体系架构，包括：OBServer节
·2025-06-29 17:11

Alluxio EnterpriseAI on K8s 部署教程

1.系统要求Kubernetes至少1.19版本的Kubernetes集群，支持特性门控确保集群的Kubernetes网络策略允许应用程序（Al
Alluxio·2025-06-29 15:51

k8s拓扑域 :topologyKey

主要用于定义Pod亲和性或反亲和性规则中的拓扑域，从而控制Pod在集群中的调度。参数描述：仅支持在工作负载亲和/工作负载反亲和调度策略中使用。
SONGW2018·2025-06-29 13:06

限流系列之五：TDMQ RabbitMQ Serverless 版限流机制深度解析与实践指南

导语分布式集群限流是保障云服务高可用性的核心技术手段，其意义不仅在于防止系统过载，更是构建弹性架构、优化资源效率、实现业务可持续性的关键策略。
腾讯云中间件·2025-06-29 13:33

腾讯云TSE注册中心实战：Nacos高可用集群搭建与流量治理避坑指南

腾讯云微服务引擎TSE（TencentCloudServiceEngine）提供的Nacos托管服务，通过全托管架构彻底解决了自建Nacos集群的运维复杂度问题。
大熊计算机·2025-06-29 13:32

Docker-compose部署nacos集群及nginx实现负载均衡

目录一、环境二、部署过程1.docker和docker-compose部署2.拉取镜像3.创建网络4.创建目录5.启动数据库并导入sql6.启动7.配置nginx代理总结一、环境主机：centos7.9docker版本：24.0.6docker-compose版本：2.23.1nacos镜像版本：2.1.1数据库镜像版本：Mariadb10.5.16nginx镜像版本：1.24.0二、部署过程1.
超级无敌约翰大王·2025-06-29 11:55

【AI大模型】26、算力受限下的模型工程：从LoRA到弹性智能系统的优化实践

然而，对于大多数企业和研究者而言，动辄数百GB的显存需求、数十万块GPU的训练集群显然是难以企及的"算力鸿沟"。当面对"无米之炊"的困境时，模型工程技术成为突破算力瓶颈的核心路径——通过算法创新而非
无心水·2025-06-29 09:37

Redis——》双写一致性

redis配置集群了吗？怎么配的？几台机器？单台redis的压力多少？一、我们为什么引入redis？
·2025-06-29 08:29

Linux下RabbitMQ集群安装

一、环境准备(all)1.下载rabbitmq、erlang包查看两者对应的版本号RabbitMQErlangVersionRequirements—RabbitMQerlang：otp_src_24.2.tar.gzrabbitmq：rabbitmq-server-generic-unix-3.10.5.tar.xzIP：192.168.255.150、192.168.255.151、192.1
长腿帅哥·2025-06-29 06:13

集群聊天服务器---muduo库使用（2）

书接上回聊天服务器，这个类主要是用于处理网络连接和消息。public:ChatServer(EventLoop*loop,//事件循环constInetAddress&listenAddr,//IP+Portconststring&nameArg)//服务器的名字:_server(loop,listenAddr,nameArg),_loop(loop){//给服务器注册用户连接的创建和断开回调_s
power 雀儿·2025-06-29 00:58

集群聊天服务器----CMake的使用

CMake简介使用简单方便，可以跨平台，构建项目编译环境。尤其是比直接写Makefile简单很多，可以通过简单的CMake生成负责的Makefile文件。安装ubuntu上直接执行sudoaptinstallcmake即可安装成功，可以通过cmake-version查看其版本：sudoaptinstallcmakecmake-version配置cmake_minimum_required(VERS
power 雀儿·2025-06-28 23:23

PostgreSQL 主从集群搭建

下面是PostgreSQL主从复制（StreamingReplication）环境的安装与配置指南，适合在两台或多台服务器之间构建一主一从（或一主多从）的高可用读写分离系统。环境准备角色主机名/IP说明主库192.168.1.10可读写，负责复制源从库192.168.1.11只读，从主库同步数据推荐PostgreSQL版本一致，例如15.x；操作系统为Ubuntu/CentOS均可。一、安装Pos
思静鱼·2025-06-28 21:06

【DeepSeek实战】3、Ollama实战指南：LobeChat+多网关架构打造高可用大模型集群

一、企业级大模型集群架构全景解析在人工智能落地应用的过程中，大模型服务的高可用性、成本控制和灵活扩展能力成为企业关注的核心痛点。
无心水·2025-06-28 19:18

【SequoiaDB】4 巨杉数据库SequoiaDB整体架构

数据库实例模块则作为协议与语法的适配层，用户可根据需要创建包括MySQL、PostgreSQL与SparkSQL在内的结构化数据实例；支持JSON语法的MongoD
Alen_Liu_SZ·2025-06-28 17:05

川翔云电脑全新上线：三维行业高效云端算力新选择

一、核心定位与优势云端虚拟工作站服务依托云端高性能CPU/GPU集群，提供远程桌面服务，支持普通设备运行专业软件。按需付费模式：无需采购高端硬件，大幅降低成本投入。
渲染101专业云渲染·2025-06-28 15:51

Spring Cloud 微服务架构部署模式

SpringCloud、微服务架构、部署模式、容器化、Kubernetes、服务网格、DevOps摘要：本文系统解析SpringCloud微服务架构的核心部署模式，涵盖传统物理机部署、容器化部署、Kubernetes集群编排
Java技术栈实战·2025-06-28 14:12

TDengine 技术参数配置大全

2.定义1.全局配置参数全局配置参数：作用于集群内所有dnode且在集群内必须保持一致的变量，也称为全局变量、系统变量或全局参数。
TDengine （老段）·2025-06-28 11:27

Redis网络通信模块深度解析：单线程Reactor到多线程IO的架构演进

eventLoop->stop){//前置钩子（集群心跳/数据持久化）if(eventLoop->beforesleep)eventLoop->beforesleep(eventLoop);//事件分派
·2025-06-28 10:17

docker启动的rabbitmq搭建并集群和高可用

Docker搭建RabbitMQ集群步骤以下是使用Docker快速搭建RabbitMQ集群的详细步骤，包含配置文件、网络设置和集群组建过程。
黑皮爱学习·2025-06-28 08:35

App Store暗藏虚假抖音，内含间谍软件窃取照片和加密货币

卡巴斯基网络安全研究人员近日发现名为SparkKitty的新型间谍软件活动，该恶意程序已感染苹果AppStore和谷歌Play官方商店的多个应用。
FreeBuf-·2025-06-27 22:29

redis-cli操作汇总

redis-cli操作汇总启动redis-cli连接到指定服务器使用密码连接基本命令示例批量执行命令监控Redis常用选项高级命令获取和设置键的过期时间运行Redis集群命令远程连接其他工具和选项redis-cli
Colin♛·2025-06-27 21:26

Apache Flink深度解析：现代流处理引擎

它提供了数据流上的状态计算、精确一次性语义保证、高吞吐、低延迟等特性，能够运行在所有常见的集群环境中。
暴躁哥·2025-06-27 21:23

IP变更后k8s集群环境恢复方法总结

在实际工作中，已安装部署的k8s集群环境，可能由于办公场所搬迁等原因导致网络环境变化，原k8s集群环境不可用，重新安装比较麻烦，可参考下述方法，恢复环境运行。
Herry_644280825·2025-06-27 21:52

ubuntu22.04系统kubeadm部署k8s高可用集群

一、shell脚本一键部署#!/bin/bashset-e#节点配置MASTER1="192.168.177.125"MASTER2="192.168.177.126"MASTER3="192.168.177.127"WORKER1="192.168.177.128"KEEPALIVED_VIP="192.168.177.129"#当前主机IPCURRENT_IP=$(hostname-I|awk
l386913·2025-06-27 19:11

集群透视 - K8s 核心监控组件与日志管理方案

集群透视-K8s核心监控组件与日志管理方案对于SRE而言，仅仅让应用跑起来是远远不够的，确保整个Kubernetes集群的健康、稳定，并能够快速定位应用问题，依赖于一套完善的监控和日志体系。
weixin_42587823·2025-06-27 18:34

暴雨携AMD ，实现大规模 AI 和 Agentic 工作负载性能突破

暴雨将推出由新的AMDInstinct处理器以及多达131,072个MI355XGPU提供支持的AI集群，助力客户大规模构建、训练和推理AI。
BAOYUCompany·2025-06-27 17:30

docker部署redis集群

Redis集群核心特性表特性说明数据分片16384个哈希槽均匀分布，每个键通过CRC16算法映射到特定槽位高可用性主节点故障时，从节点自动升级为主节点，故障转移时间6379/tcp,:::6379->6379
qq_31292011·2025-06-27 15:47

速通Ceph分布式存储（含超详细图解）

前言云计算存储架构图示例存储节点集群RAID控制层物理存储层分布式存储管理层存储接口层接入层OSD主机1OSD主机2OSD主机N磁盘1磁盘2磁盘3磁盘4磁盘5磁盘6RAID0/10/5RAID控制器1RAID0
来自于狂人·2025-06-27 14:40

CloudLens for PolarDB：一键开启数据采集，轻松监控MySQL集群

阿里云提供的CloudLensforPolarDB功能让这一过程变得极为简单，只需几步操作即可实现对PolarDBMySQL集群的全方位监控。
ivwdcwso·2025-06-27 12:56

试试时序数据库 TDengine × Spark 的组合拳

现在，TDengine正式开放与ApacheSpark的无缝集成通道。一个是高性能、低成本的时序数据库，一个是横扫大数据世界的分析
·2025-06-27 11:21

K8s集群的环境部署

通过kubeadm进行部署1.测试环境所需要的主机名和IP和扮演的角色harbor172.25.254.200harbor仓库k8s-master172.25.254.100k8s集群控制节点k8s-node1172.25.254.10k8s
hxdcxy·2025-06-27 10:09

kube-promethesu调整coredns监控

K8s集群版本是二进制部署的1.20.4，kube-prometheus对应选择的版本是kube-prometheus-0.8.0Coredns是在安装集群的时候部署的，采用的也是该版本的官方文档，kube-prometheus
jingleli21·2025-06-27 09:04

Flink部署与应用——Flink集群模式

Flink集群模式在大数据处理领域，ApacheFlink凭借其卓越的流批一体化处理能力，成为众多企业的首选框架。
黄雪超·2025-06-27 08:59

【TIDB】了解，MySQL和TiDB的取舍，差异

查询慢水平扩展，性能稳定业务快速增长、分库分表难维护需要人工做分库分表自动水平扩展，无需分库分表高并发写入（比如秒杀、交易）主从延迟、写入瓶颈多副本写入，强一致性，吞吐更高高可用要求需要额外搭建主从/集群内建高可用
{⌐■_■}·2025-06-27 08:28

StarRocks存算一体集群资源预估

官方文档：规划StarRocks集群|StarRocks集群：3FE+3BEFE机器配置：1、CPU：官方推荐每个FE节点分配8c16g2、磁盘：官方推荐每个FE节点分配100g的HDD个人觉得4c8g
DavidSoCool·2025-06-27 07:16

etcd：分布式系统的核心组件应用场景

etcd：分布式系统的核心组件应用场景1.服务发现2.消息发布与订阅3.负载均衡4.分布式通知与协调5.分布式锁6.集群监控与Leader竞选TheBegin点点关注，收藏不迷路etcd，作为分布式系统中的重要基石
Seal^_^·2025-06-27 05:34

Spark Streaming 与 Flink 实时数据处理方案对比与选型指南

SparkStreaming与Flink实时数据处理方案对比与选型指南实时数据处理在互联网、电商、物流、金融等领域均有大量应用，面对海量流式数据，SparkStreaming和Flink成为两大主流开源引擎
浅沫云归·2025-06-27 02:10

（mysql、oracle、pgsql、mongodb、redis、es）主流数据库的核心差异

关系型数据库（RDBMS）数据库核心特点适用场景MySQL开源、读写性能均衡，易用性高，但复杂查询较弱Web应用（博客/电商）、中小企业OLTP系统（如用户管理）Oracle商业级、强事务支持（RAC集群
不愿意透露姓名的樊同学·2025-06-27 01:04

【MongoDB】MongoDB从零开始详细教程 核心概念与原理 环境搭建 基础操作

CentOS）1.Windows安装2.CentOS安装3.连接验证三、基础操作（CRUD）1.数据库与集合操作2.文档增删改查四、高级特性与优化1.索引优化2.聚合管道（Aggregation）3.分片集群与副本集五
夜雨hiyeyu.com·2025-06-27 00:00

Redis集群形式--哨兵模式集群和高可用模式集群---Redis学习笔记003

对于redis集群,我们搭建的时候可以选择两种模式:这里记录一下,至于如何搭建,网上教程太多了,这里不多说了,记录一下到时候用到时候,可以想到应该使用哪种模式,到时候去搭建就可以了哨兵模式的集群:在redis3.0
添柴程序猿·2025-06-26 23:20

No Sql之 Redis配置与优化

特性：高性能（单线程+多路复用）、持久化、集群、发布订阅。典型应用场景缓存：热点数据加速查询（如电商商品详情页缓存）。计数器：点赞数、访问量（原子性INCR操作）。消息队列：基于LPUSH
牛爷爷敲代码·2025-06-26 23:47

Redis 哨兵模式学习笔记

Redis哨兵模式学习笔记一、核心概念Redis哨兵模式（RedisSentinel）是Redis官方提供的高可用解决方案，主要用于监控Redis主从集群，自动检测主节点故障，并实现故障转移，确保服务的连续性
牛爷爷敲代码·2025-06-26 22:46
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他