分布式+集群第7页

集群间hive数仓迁移

方式一：(此方法需要建库建表)第一步：建库建表在原集群hive上查看迁移表的建表语句及所在库，然后在新集群hive上建库建表；showcreatetabletb_name;createdatabasedb_name

one code·2025-01-18 17:15

Flink 常见面试题

1、Flink的四大特征（基石）checkpoint:基于Chandy-Lamport算法，实现了分布式一致性快照，提供了一致性的语义。State:丰富的StateAPI。

知否&知否·2025-01-18 16:14

2.TIDB整体架构

与传统的单机数据库相比，TiDB具有以下优势：纯分布式架构，拥有良好的扩展性，支持弹性的扩缩容支持SQL，对外暴露MySQL的网络协议，并兼容大多数MySQL的语法，在大多数场景下可以直接替换MySQL

胡晗-·2025-01-18 14:30

Git基本操作

Git是一个分布式版本控制系统，它可以追踪文件的变化，并记录文件的历史版本。以下是Git的基本概念和使用方式：仓库（Repository）：Git仓库是存储代码和文件的地方，可以是本地仓库或远程仓库。

宠物与不尤编程·2025-01-18 14:29

为什么要使用MQ？思维导图代码示例（java 架构)

使用消息队列（MQ）的主要原因在于它能够提供解耦、异步通信、流量削峰等特性，这些特性对于构建稳定、高效、可扩展的分布式系统至关重要。

用心去追梦·2025-01-18 12:39

【大数据学习 | kafka】kafka的组件架构

broker:每个kafka的机器节点都会运行一个进程，这个进程叫做broker，负责管理自身的topic和partition，以及数据的存储和处理，因为kafka是集群形式的，所以一个集群中会存在多个

Vez'nan的幸福生活·2025-01-18 10:30

Rabbitmq源码分析，重复消费问题的redis或数据库代码实现

通过Redis的幂等性处理消息消费者实现分布式锁实现的重复检测完整的消息处理流程基于数据库实现Mapper接口消息处理服务RabbitMQ消息消费者底层源码解析RabbitMQ判断重复消息主要通过消息的唯一标识

xweiran·2025-01-18 10:26

keepalived 、HAProxy

KeepAlived高可用集群配置高可用的web集群监控本机80端口，实现主备切换实现原理实施配置高可用、负载均衡的web集群配置高可用、负载均衡HAProxy配置haproxy负载均衡调度器比较LVS

www.农民工·2025-01-18 10:53

Kubernetes Service负载均衡机制

当一个Service对象在Kubernetes集群中被定义出来时，集群内的客户端应用就可以通过服务IP访问到具体的Pod容器提供的服务了。

蓝颜～岁月·2025-01-18 09:52

Haproxy 负载均衡集群

|br0router192.168.29.128vip:192.168.29.128192.168.29.128/32修改内核参数servicehttpdstart测试：找宿主机http://192.168.29.128找同学去访问:确保它的电脑没有192.168.29.0/24网络却把把网关指向宿主机10网段的IP再去访问http://192.168.29.128三、部署memcached把机器

weixin_34348805·2025-01-18 09:22

K8S集群常用命令

1，查看podkubectlgetpods-A查看所有的podkubectlgetpods这个只查看namespace为default下的pod，也就是只查看默认命名空间下的podkubectlgetpod-A-owide查看所有的pod，并且放出的信息更全（包含了pod的ip）2，查看pod的具体信息kubectldescribepodmy-pod-nmy-namespace查看命名空间my-n

年薪丰厚·2025-01-18 09:19

Redis分布式锁-解锁操作

本章重点讨论解锁操作问题。案例使用RedisTemplate完成redis操作。1.简单加解解锁@ResourceprivateRedisTemplateredisTemplate;publicvoidtestLock(){Stringkey="xx_lock";Stringuuid=UUID.randomUUID().toString();try{booleanlock=redisTemplat

Ocean@上源码·2025-01-18 09:18

详解 RabbitMQ 在 Go 中的实现：一个带重试机制和死信队列的消息消费者

RabbitMQ是一个功能强大的消息队列系统，广泛应用于分布式系统中。本文将详细解析一个使用Go语言编写的RabbitMQ消费者程序。

田猿笔记·2025-01-18 08:43

Kubernetes--Service负载均衡机制

一、负责均衡机制当一个Service对象在Kubernetes集群中被定义，集群内的客户端应用就可以通过服务IP访问到具体的Pod容器提供的服务器了。

GaoChuang_·2025-01-18 08:10

redis 分布式重入锁

文章目录前言一、分布式重入锁1、单机重入锁2、redis重入锁二、redisson实现重入锁1、添加依赖2、配置Redisson客户端3、使用Redisson实现重入锁4、验证5、运行项目三、redisson

DREAM LINER SU·2025-01-18 08:38

使用 Kubernetes 实现负载均衡

一、Kubernetes负载均衡的基本概念ClusterIP（默认类型）只能在集群内部访问，分发到Pod的流量通过IPtables或IPVS转发。NodePort通过每个节点的固定端口将流量暴露给外部

卫玠_juncheng·2025-01-18 08:38

大厂架构之极致缓存策略实战与原理剖析

无论是CPU中的多级缓存，还是分布式系统中的Redis、Memcached等缓存组件，都在各自的领域内发挥着重要作用。

喜欢猪猪·2025-01-18 07:37

如何通过 Nginx 实现 CouchDB 集群的负载均衡并监控请求分发

在现代分布式系统中，负载均衡是确保高可用性和性能的关键组件。CouchDB是一个强大的分布式数据库，而Nginx是一个高性能的反向代理和负载均衡器。

田猿笔记·2025-01-18 07:36

智算中心建设热潮涌动 AI服务器赋能加速

2022年，随着国家“东数西算”工程启动，我国算力地图正式开始，形成八大枢纽、十大算力中心集群。据中国电信研究院发布的《智算产业发展研究报告（202

·2025-01-18 05:43

如何防止缓存雪崩、击穿和穿透?思维导图代码示例（java 架构)

思维导图结构防止缓存问题缓存雪崩分散过期时间设置随机的TTL（Time-To-Live）限流与熔断服务降级流量控制预热机制提前加载热点数据缓存击穿分布式锁使用Redis等工具实现分布式锁缓存冗余多副本存储异步更新异步加载数据到缓存缓存穿透

用心去追梦·2025-01-18 04:12

安装 Erlang：一步步教你安装和配置 Erlang 环境

Erlang是一种功能强大的编程语言和运行时环境，特别适用于构建高可靠性、并发性和分布式性能的应用程序。在本文中，我将为您提供安装和配置Erlang环境的详细步骤。

AzProcessgroup·2025-01-18 01:18

《鸿蒙Next旅游应用：人工智能赋能个性化与智能导览新体验》

鸿蒙Next与人工智能融合优势鸿蒙Next拥有强大的分布式能力和原生智能体验。其能打破设备界限，实现多设备协同，让用户在手机、平板、智能手表等设备上无缝使用旅游应用。

·2025-01-18 01:04

基于单片机的分布式智能输液系统设计

**单片机设计介绍，基于单片机的分布式智能输液系统设计文章目录一概要二、功能设计设计思路三、软件设计原理图五、程序六、文章目录一概要基于单片机的分布式智能输液系统设计概要如下：一、系统概述基于单片机的分布式智能输液系统是一种集成化

01单片机设计·2025-01-18 01:47

《软硬协同优化，解锁鸿蒙系统AI应用性能新高度》

鸿蒙系统与AI应用的融合现状鸿蒙系统以其独特的微内核架构和分布式特性，为AI应用提供了良好的运行环境。

·2025-01-18 01:03

《解锁鸿蒙系统AI能力，开启智能应用开发新时代》

在当今科技飞速发展的时代，鸿蒙系统以其独特的分布式架构和强大的AI能力，为开发者们带来了前所未有的机遇。本文将深入探讨开发者如何利用鸿蒙系统的AI能力开发更智能的应用，开启智能应用开发的新时代。

·2025-01-18 01:03

云原生周刊：Docker 的替代方案

·2025-01-18 01:30

如何设计一款分布式数据库

关注我，持续分享逻辑思维&管理思维&面试题；可提供大厂面试辅导、及定制化求职/在职/管理/架构辅导；推荐专栏《10天学会使用asp.net编程AI大模型》，目前已完成所有内容。一顿烧烤不到的费用，让人能紧跟时代的浪潮。从普通网站，到公众号、小程序，再到AI大模型网站。干货满满。学成后可接项目赚外快，绝对划算。不仅学会如何编程，还将学会如何将AI技术应用到实际问题中，为您的职业生涯增添一笔宝贵的财富

借雨醉东风·2025-01-18 00:44

高防是什么，DDos是什么

这些服务主要用于防御各种网络攻击，尤其是DDoS（分布式拒绝服务）攻击。高防服务器高防服务器是指具备高防御能力的服务器，能够抵御大规模的DDoS攻击。

不正经随记·2025-01-18 00:44

Redis 3种持久化机制

大部分原因是为了之后重用数据（比如重启机器、机器故障之后恢复数据），或者是为了做数据同步（比如Redis集群的主从节点通过RDB文件同步数据）。

妖怪兮诺‍·2025-01-18 00:12

如何确保热点产品查询延迟控制在10ms以内?思维导图代码示例（java 架构)

思维导图结构低延迟查询数据预加载热点数据预测提前加载到内存缓存使用高性能缓存内存级缓存（如Caffeine）分布式缓存（如Redis）缓存一致性管理弱一致性模型缓存更新策略（写后失效、读时更新等）并发处理多线程

用心去追梦·2025-01-17 23:07

全区全服游戏框架

游戏服务器架构概述分布式架构基础：全区全服游戏框架通常采用分布式架构，以应对大量玩家同时在线的情况。这种架构包括多个服务器节点，如登录服务器、游戏逻辑服务器、数据库服务器等。

lao geng·2025-01-17 23:31

DDOS和CC是什么

DDOS也叫分布式拒绝服务（DistributedDenialofService）简称为DDOS，就是将多台计算机联合起来作为攻击平台，通过远程连接利用恶意程序，对一个或多个目标

德迅云安全-小潘·2025-01-17 23:59

redis缓存穿透、雪崩与击穿

Redis缓存穿透、雪崩与击穿详解（附Java代码示例）在现代高并发分布式系统中，缓存作为提高系统性能和响应速度的重要组件，其稳定性和可靠性至关重要。

Flying_Fish_Xuan·2025-01-17 22:26

分布式系统架构4：容错设计模式

这是小卷对分布式系统架构学习的第4篇文章，虽然知道大家都不喜欢看纯技术文章，写了也没多少阅读量，但是为了个人要成长，小卷最近每天都会更新分布式的文章1.概念容错策略，指的是“面对故障，我们该做些什么”；

卷福同学·2025-01-17 22:50

【昇思25天学习打卡营打卡指南-第一天】基本介绍与快速入门

其中，易开发表现为API友好、调试难度低；高效执行包括计算效率、数据预处理效率和分布式训练效率；全场景则指框架同时支持云、边缘以及端侧场景。

JeffDingAI·2025-01-17 21:49

如何实现集群部署

集群部署是指将多个计算节点（通常是服务器）组合在一起，形成一个协同工作的系统，以提供更高的性能、可用性和可靠性。集群部署广泛应用于各种场景，如Web服务、数据库、大数据处理等。

DaXiongJoker·2025-01-17 21:49

Redis集群部署——sentinel模式

容器化运行sentinel实例1、获取sentinel.conf配置文件从官网下载对应的tar包，解压找到对应的sentinel.conf配置文件，修改其中的配置文件注意：#设置监听节点，最后的数字2是quorum，表示客观下线时需要多少哨兵服务同意sentinelmonitormaster63792#设置验证密码避免不必要的错误信息sentinelauth-passmaster123456#设置

学!学!学·2025-01-17 21:48

分布式数据库：技术深度解析与应用实践

分布式数据库：技术深度解析与应用实践随着数据量的爆炸性增长和用户访问量的不断增加，传统的单机数据库系统逐渐暴露出在高可用性、高并发性和高扩展性方面的不足。

我的运维人生·2025-01-17 21:46

Java 内存锁的实现方式、性能比较及使用场景分析

为了更好地解决分布式系统中的并发问题，我们可以将这些锁实现方式封装成一个基础的服务，并根据需要在不同的场景下使用它们。本文将讨论Java内存锁的实现方式、性能比较及其适用场景，同时介绍如

nbsaas-boot·2025-01-17 21:13

【AI系统】混合并行

混合并行混合并行（HybridParallel）是一种用于分布式计算的高级策略，它结合了数据并行和模型并行的优势，以更高效地利用计算资源，解决深度学习中的大模型训练问题。

ZOMI酱·2025-01-17 20:05

web3.0元宇宙区块链概念原理详细

区块链是一种分布式数据库技术，其核心特性是去中心化、不可篡改和全透明。在Web3.0的架构下，区块链不仅仅承载着交易信息，更支撑着身份认证、数据存储和智能合约等多方面的应用。

飞机号Mrsfu223·2025-01-17 20:33

搭建k8s集群

由于格式和图片解析问题，为了更好体验，可前往阅读原文本文带着大家按照官方文档进行k8s搭建，环境是基于arm架构centos7.9的虚拟机环境进行的，如果你使用的是非ARM架构的系统，仍然可以参考文章指导，而涉及到的一些安装链接需要根据情况替换成兼容你自己系统的链接本次安装的版本为1.26.0版本，将会通过多种工具进行搭建，如：minikube、kubeadm等等现阶段k8s的迭代速度还是很快的，

·2025-01-17 20:45

Kubernetes 监控实践：基于 Prometheus-Operator 的完整解决方案

Kubernetes（K8s）的动态性和分布式特性为应用部署带来了极大的便利，同时也使监控变得复杂而繁琐。

·2025-01-17 20:14

去中心化社会的崛起：探索区块链对社会结构的影响

1.区块链技术的基本原理回顾1.1分布式账本与加密哈希区块链是由一系列区块组成的分布式账本，每个区块包含了一定时间范围内的交易数据，并通过加密哈希函数与前一个区块链接起来，确保数据的安全性和完整性。

Roun3·2025-01-17 20:00

如何在 K8s 上部署 KRaft 模式 Kafka 集群？

首发：运维有术今天分享的主题是：不使用Helm、Operator，如何在K8s集群上手工部署一个开启SASL认证的KRaft模式的Kafka集群？

·2025-01-17 19:07

深入 Kubernetes 的健康奥秘：探针（Probe）究竟有多强？

探针（Probe）的作用就像集群的“健康监护员”，负责检测和管理容器的健康状态。没有它，K8s的稳定性和高可用性可能会大打折扣。本文将从探针的原理讲起，结合实际场景深入解析它

·2025-01-17 19:06

国产替代 | 星环科技Sophon替代SAS，助力大型国有银行智能化营销

分布式架构的｜国产智能分析工具在银行交易中，20%的头部优质客户会给银行贡献80%的利润，而赢得一个新客户的成本是保留一个老客户的5至6倍。

·2025-01-17 19:05

云计算技术深度解析与代码实践

它通过网络将软硬件资源整合成一个高效的分布式系统，实现了数据的可靠存储和高效处理。本文将深入探讨云计算的技术特点、应用场景，并通过具体的代码使用案例展示如何在云平台上实现一个基本的应用程序。

我的运维人生·2025-01-17 19:27

openGemini 社区人才培养计划：助力成长，培养新一代云原生数据库人才

二、社区介绍openGemini是一款开源的云原生分布式时序数据库，专注于海量可观测性数据的存储和分析，2022年10月开源，2024年7月正式成为CNCF沙箱项目。

·2025-01-17 19:00

Redis集群部署详解：主从复制、Sentinel哨兵模式与Cluster集群的工作原理与配置

集群部署形式1、主从复制1.1工作机制1.2配置实现1.3优缺点1.4部署形式1.5主从复制优化2、Sentinel哨兵模式2.1工作机制2.2配置实现2.3优缺点2.4哨兵机制选举流程2.5脑裂问题解决方案

niaonao·2025-01-17 19:26

推荐频道

分布式+集群