DAG高可用性

【亿级数据专题】「分布式消息引擎」 盘点本年度我们探索服务的HA高可用解决方案

盘点本年度我们探索服务的HA高可用解决方案前言介绍HA高可用高可用性评估可用性是平均故障间隔时间HA技术架构的特性分析Master/Slave架构主从复制模式主从复制的特性分析高可用案例RocketMQ
洛神灬殇·2024-02-02 03:02

docker+consul的容器服务更新与发现

起初服务都是单节点的，不保障高可用性，也不考虑服务的压力承载，服务之间调用单纯的通过端口访问。
王德发666·2024-02-01 22:50

Spark基础

Spark基础几个重要的概念：RDD：是弹性分布式数据集（ResilientDistributedDataset）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型；DAG：是DirectedAcyclicGraph
cjyang·2024-02-01 19:23

Django与MongoDB搭建高效的Web应用

然而，随着NoSQL数据库的流行，MongoDB这种非关系型数据库因其高性能、高可用性和易扩展性而成为了许多开发者的首选。我将详细介绍如何在Django项目中使用MongoDB。
qa浪涛·2024-02-01 16:49

2022-01-11 rabbitmq集群部署（经典镜像模式）

背景实际应用场景默认集群模式，无法做到高可用性，忽略。本文只考虑使用mirrorqueue及quorumqueue，默认使用docker-compose方式部署，其他方式除安装步骤不同，配置基本一样。
anyangdp·2024-02-01 12:28

服务器名词解释

高可用性在计算中，术语可用性用于描述服务可用的时间段，以及系统响应用户请求所需的时间。高可用性是系统或组件的质量，可确保在给定时间段内实现高水平的操作性能。
jjyy2233667·2024-02-01 12:33

spark比mapreduce快的yuanyin

spark是基于内存计算的，而mapreduce会将数据暂存在文件系统中，增加了可靠性但降低了性能DAG有向无环图，spark的有向无环图可以减少shuffle，在不需要其他节点数据的情况下(窄依赖)，
_or·2024-02-01 12:35

Spark比Mapreduce快的原因

DAG计算模型在迭代计算上还是比MapReduce的效率更高。2）DAG有向无环图spark
Rnan-prince·2024-02-01 12:33

为什么Spark比MapReduce快

client提交一个application可能包含多个job，mr中一个mr程序就是一个job，spark中一个DAG就是一个job。
认知偏差·2024-02-01 12:02

大数据之 Spark DAG

SparkDirectedAcyclicGraph(DAG)是ApacheSpark中的核心概念，它用于描述作业（job）的计算逻辑。
转身成为了码农·2024-02-01 12:00

spark处理速度为什么比MapReduce快？

原因那么快的原因主要有两点：基于内存，spark中间结果不落盘（hadoop频繁落盘）有DAG（有向无环图）：来切分任务的执行先后顺序。️对比：MR(mapreduce)：Spark:可以看出MR
CoreDao·2024-02-01 12:29

大数据之 Spark 比 MapReduce 快的原因

DAG执行引擎：Spark支持有向无环图（D
转身成为了码农·2024-02-01 12:57

Airflow原理浅析

Airflow的原理基于有向无环图（DAG）的概念，它通过编写和组织任务的有向图来描述工作流程。
肥猪猪爸·2024-02-01 07:52

Exchange Server 2016 部署系列（六）高可用 DAG

见证目录权限配置本次实验中将使用DC作为见证服务器，需要将ExchangeTrustedSubsytem组加入到见证服务器的本地Administrators组中，在DC中需要使用AD用户和计算机来添加添加ExchangeTrustedSubsytem组到Administrators组中1.png在域控制器上，打开ActiveDirectory用户和计算机，展开域节点“computer”，在右侧窗口
陳陳陳ccc·2024-01-31 23:54

Gateway API 实践之（六）FSM Gateway 的健康检查功能

这一功能在微服务或分布式系统中尤为关键，因为它通过及时识别并隔离故障或性能下降的服务，来维护系统的高可用性和弹性。通过健康检查，网关能够保证请求负载被有效
Flomesh·2024-01-31 15:52

得物云原生容器技术探索与落地实践

从2021年8月开始，我们以提升资源使用率和资源交付效率为目标，开始基于云原生技术建设整个服务体系的高可用性、可观测性和高运维效率，同时要保证成本可控。
得物技术·2024-01-31 15:14

vue使用antv-x6 绘制流程图DAG图（二）

代码：import{Graph,Node,Path,Cell,Addon}from"@antv/x6";import{register}from"@antv/x6-vue-shape";import{Dnd}from"@antv/x6-plugin-dnd";import{MiniMap}from"@antv/x6-plugin-minimap";import{Scroller}from"@ant
小贵子的博客·2024-01-31 11:02

【新课】安装部署系列Ⅲ—Oracle 19c Data Guard部署之两节点RAC部署实战

它使组织能够通过实现容错和负载平衡来提高可用性和可扩展性，同时提高性能。
云贝教育-郑老师·2024-01-31 07:56

RabbitMQ简介及其核心概念

AdvancedMessageQueuingProtocol高级消息队列协议）实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.Net、Java、C，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不错
水宝的滚动歌词·2024-01-31 07:51

构建高效可靠的消息队列系统：设计与实现

目录一、引言二、设计目标2.1、高可用性1.集群搭建1.1DockerCompose配置示例2.容错和恢复2.1异常检测与自动故障迁移2.2SpringBoot代码示例3.心跳检测4.优雅关闭2.2、持久性
喔的 喔的嘛呀·2024-01-31 07:31

[docker] Docker容器服务更新与发现之consul

起初服务都是单节点的，不保障高可用性，也不考虑服务的压力承载，服务之间调用单纯的通过接口访问。
为什么老是名字被占用·2024-01-31 03:38

五、Redis 的哨兵机制与哨兵集群

之前提到Redis有主从库集群机制，以减轻主库的请求压力，实现Redis的高可用性。并且，我们已经知道，请求的写操作只会在主库上执行，然后主库再同步到各个从库上。
从不中二的忧伤·2024-01-31 01:35

VM 虚拟机 构建 Prometheus + Thanos 环境 (1) - 基础架构 && Prometheus 安装

构建Prometheus+Thanos环境时，考虑到Prometheus原生开源版并未提供高可用性的支持，特别是在面对更大规模和高可用性要求的监控场景时。因此，引入Thanos成为一种选择。
炸鸡物料库·2024-01-31 01:54

RabbitMQ学习（一）AMQP协议

业务上，可以实现服务提供者和消费者之间的数据解耦，提供高可用性的消息传输机制，在实际生产
kobe0429·2024-01-30 19:43

有向无环图DAG与PyTorch动态计算图

1.有向无环图有向无环图（DirectedAcyclicGraph,DAG）是一种特殊的图论结构，它由节点（或称为顶点）和有方向的边组成，并且没有循环路径。
科学禅道·2024-01-30 18:42

Redis：企业级的深入

高可用性：集群中的每个节点都可以包含数据的部分副本，确保即使其中一个节点出现故障，其他节点依然可以继续提供服务。自动分片和负载均衡：Redis集群支持自动分片，无
星光闪闪k·2024-01-30 15:16

本地MinIO存储服务通过Java程序结合Cpolar内网穿透进行远程连接

它的优点包括高性能、高可用性、易于部署和管理、支持多租户等。Cpolar
小沈YO.·2024-01-30 11:01

Hadoop与Spark横向比较【大数据扫盲】

它们通常提供简单的查询语言，并强调水平扩展和高可用性。例如：-键值存储：如Redis，AmazonDynamoDB-列式存储：如ApacheCassandra，HBase-文档数据库：如M
super_journey·2024-01-30 06:51

使用 CDC MinIO 汇入端为 CockroachDB 保持持久数据

它从其昆虫名字的坚持不懈中汲取灵感，即使面对硬件故障，CockroachDB也能保证高可用性。其分布式架构横跨多个节点，类似于其昆虫原型的适应性。
MinIO官方账号·2024-01-30 04:28

开发项目发布可能会涉及的流程

服务器选型当选择软件开发项目的服务器时，可以考虑以下几个方面：云服务提供商：主流的云服务提供商包括阿里云、腾讯云、华为云等，它们提供了可靠的服务器托管服务，具有高可用性和可扩展性。
仲夏那片海·2024-01-29 16:27

MR和Spark的比较

1、spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的2、spark中具有DAG有向无环图，DAG有向无环图在此过程中减少了shuffle以及落地磁盘的次数3、spark是粗粒度资源申请
猿来孺词·2024-01-29 10:55

云上高可用系统-韧性设计模式

韧性设计模式旨在确保系统在面对不可避免的故障时，能够保持高可用性、可靠性和性能。这些设计模式不仅关注系统的开发阶段，还包括系统的部署、运维和监控阶段，形成了一个全面
张彦峰ZYF·2024-01-29 09:28

Redis集群方案及Redis3.2本地集群搭建搭建

前言我们都知道Redis是一个很优秀的缓存框架，很大程度上提高了我们获取数据的效率，然而在现在的互联网环境下，Redis存储的数据有限，并且为了保证高可用性，我们得想办法来保证Redis能够一直高效的运转
fortune_often_in·2024-01-29 07:20

软件系统架构黄金法则：深入解析分布式系统架构

1.背景介绍分布式系统是现代软件系统中不可或缺的组成部分，它们可以实现高可用性、高性能、高扩展
OpenChat·2024-01-29 00:53

DolphinScheduler + Amazon EMR Serverless 的集成实践

01背景ApacheDolphinScheduler是一个分布式的可视化DAG工作流任务调度开源系统，具有简单易用、高可靠、高扩展性、⽀持丰富的使用场景、提供多租户模式等特性。
亚马逊云开发者·2024-01-29 00:18

Spark作业执行原理

Spark的作业和任务调度系统是Spark的核心，它能够有效地进行调度根本原因是对任务划分DAG和容错，使得它对低层到顶层的各个模块之间的调用和处理显得游刃有余。下面介绍一些相关术语。
垫路的石头·2024-01-28 23:12

Redis-持久机制

它具有高性能、高并发、高可用性等特点，因此在大规模的数据处理和高并发访问的场景下表现出色。为什么有持久化由于Redis默认是将数据存储在内存中，一旦服务重启或崩溃，所有的数据将会丢失。什么是
江 流 儿·2024-01-28 22:00

消息中间件之八股面试回答篇：三、RabbitMQ如何解决消息堆积问题（100万条消息堆积）+RabbitMQ高可用性和强一致性机制+回答模板

RabbitMQ中的消息堆积问题当生产者发送消息的速度超过了消费者处理消息的速度，就会导致队列中的消息堆积，直到队列存储消息达到上限。之后发送的消息就会成为死信，可能会被丢弃，这就是消息堆积问题。解决消息堆积有三种种思路：增加更多消费者，提高消费速度在消费者内开启线程池加快消息处理速度采用惰性队列，扩大队列容积，提高堆积上限惰性队列惰性队列的特征如下：接收到消息后直接存入磁盘而非内存，所以可以支持
鸡鸭扣·2024-01-28 22:28

什么是集群

在一个业务系统中，对于重要的计算机，也应该有一台或多台对等计算机作为后备，一旦运行重要应用程序的计算机出现故障，作为后备的计算机立即接替它的工作，应用程序将切换到后备计算机上继续运行，这样可以保证整个业务系统的高可用性
OnTheWay_Seeking·2024-01-28 22:19

阿里云云数据库RDS

阿里云云数据库RDS的主要特点和优势包括高可用性、强大的扩展性、性能优化、灵活的备份与恢复功能以及专业的技术支持等。
编织幻境的妖·2024-01-28 19:06

redis-4 搭建redis集群

Redis集群提供了高可用性、横向扩展和数据分片等功能，使得Redis能够应对大规模的数据存储和高并发访问的需求。
敲代码的小白帆·2024-01-28 18:33

云原生和事件驱动架构：实时数据处理和分析的未来

云原生技术为应用程序提供了自动化、可扩展和高可用性的基础设施，而事件驱动架构则使得系统能够以更高效的方式响应和处理事件。
OpenChat·2024-01-28 16:17

宝哥面试题分享(16):Git面试题：git常用命令、如何解决版本冲突、git和svn的区别

特点：项目越大越复杂，协同开发者越多，越能体现出Git的高性能和高可用性。002Git常用的命令有哪些?
跟着宝哥学java·2024-01-28 12:38

Keepalived 深度解析：高可用性的精髓及实践指南

Keepalived深度解析：高可用性的精髓及实践指南Keepalived深度解析：高可用性的精髓及实践指南Keepalived的工作原理1.VRRP协议概述2.Keepalived的角色3.VRRP协议详解
牛哄哄的柯南·2024-01-28 11:09

事件驱动架构的容错与自愈：保障系统的高可用性

随着系统规模的扩大和业务复杂性的增加，确保事件驱动架构的高可用性变得越来越重要。高可用性(HighAvailability，HA)是指系统在不受预期故障影响
OpenChat·2024-01-28 10:09

Java数据结构与算法：拓扑排序

拓扑排序是图论中的一种经典算法，用于对有向无环图（DAG）进行排序。本文将介绍拓扑排序的基本概念、算法原理，并通过Java代码演示其实现方式。拓扑排序简介拓扑排序是对有向图的顶点进行线性排序，使得
qq836869520·2024-01-27 23:38

快速上手！使用Docker和Nginx部署Web服务的完美指南

而Nginx则是一款高性能的Web服务器和反向代理服务器，它可以处理大量并发请求并提供高可用性和负载均衡。Docker+Nginx是一种高效、灵活且可扩展的解决方案。
鼠鼠我捏，要死了捏·2024-01-27 19:55

C++实现并行和异步任务，DAG流水线的开源库-Taskflow

Taskflow是一个基于C++17的开源库，用于实现并行和异步任务的流水线。它提供了一个灵活而高效的框架，使得开发者能够方便地定义和执行任务流程，利用多核处理器的并行性能。以下是Taskflow的简介：主要特点：C++17标准：Taskflow基于C++17标准，充分利用了现代C++的特性，包括lambda表达式、可变模板参数、智能指针等。轻量级且高性能：Taskflow的设计注重轻量级和高性能
zhaoyqcsdn·2024-01-27 18:47

软件系统架构黄金法则：负载均衡的架构策略

负载均衡(LoadBalancing)是一种在多个服务器之间分发客户请求的技术，以实现系统的高可用性、高性能和高扩展性。它可以防止单个服务器的宕机或过载，提高系统的稳定性和性能。
OpenChat·2024-01-27 16:11

2024-01-26-redis集群

为什么要搭建集群高可用性：Redis集群可以提供高可用性，即使其中的一台节点发生故障，其他节点仍然可以继续提供服务。
瑕光.·2024-01-27 14:39
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他