MFS分布式第35页

消息队列三｜Kafka 如何做到高可用？

副本是分布式系统对数据和服务提供的一种冗余方式。Kafka从0.8版本开始为分区引入了多副本的机制，通过增加副本数量来提升数据容灾的能力。

不落叶的榕树·2024-02-05 09:11

Kafka的高可用机制

ApacheKafka是一个分布式流处理平台，它通过复制数据和分布式系统的一系列特性来提供高可用性。以下是Kafka高可用性机制的关键方面，以及它们是如何在源码中实现的。

辞暮尔尔-烟火年年·2024-02-05 09:37

第十篇【传奇开心果短博文系列】鸿蒙开发技术点案例示例：深度解读鸿蒙全场景适配

传奇开心果短博文系列系列短博文目录鸿蒙开发技术点案例示例系列短博文目录前言一、鸿蒙全场景适配实现介绍二、统一核心示例代码三、设备驱动框架示例代码四、统一界面框架示例代码五、自适应布局示例代码六、分布式能力示例代码七

传奇开心果编程·2024-02-05 09:06

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算

monster++·2024-02-05 09:28

大数据 - Spark系列《四》- Spark分布式运行原理

大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据-Spark系列《三》-加载各种数据源创建RDD-CSDN博客目录Spark分布式运行原理

王哪跑nn·2024-02-05 08:54

RocketMQ之事务消息原理

文章目录前言传统XA事务方案：性能不足基于普通消息方案：一致性保障困难基于ApacheRocketMQ分布式事务消息：支持最终一致性功能原理事务消息整体流程使用限制使用示例使用建议前言RocketMQ的事务消息是为了解决分布式事务的问题

倜傥村的少年·2024-02-05 08:19

【下一代分布式追踪】将Trace扩展到网络设备

下一代分布式追踪—将Trace扩展到网络设备一、技术背景二、研究动机三、方法数据采集：数据整合：路径重建：可视化与分析：Foxhound，Foxhound四、典型案例五、结论一、技术背景随着云计算和微服务的普及

沐风—云端行者·2024-02-05 08:15

83.如何设计高可用系统

高可用与微服务架构微服务天生具有分布式特性，有利于构建高

百里守约学编程·2024-02-05 08:42

85.如何设计高并发系统（缓存、限流、熔断、降级）

文章目录一：简介二：什么是高并发1、高并发的定义2、高并发的特点3、高并发场景和应用4、高并发的影响三：高并发应对策略四：缓存1、浏览器缓存2、客户端缓存3、CDN缓存4、反向代理缓存5、本地缓存6、分布式缓存

百里守约学编程·2024-02-05 08:40

HarmonyOS应用/服务发布：打造多设备生态的关键一步

app文件上架.app文件到AGC结束语前言随着智能设备的快速普及和多样化，以及编程语言的迅猛发展，构建一个无缝连接的多设备生态系统已经成为当前技术发展的大趋势，而HarmonyOS作为华为自主研发的分布式操作系统

三掌柜666·2024-02-05 08:35

docker 安装minio

MinIO是一款高性能、分布式的对象存储系统.它是一款软件产品,可以100%的运行在标准硬件。即X86等低成本机器也能够很好的运行MinIO。

会飞的大鱼吃小鱼·2024-02-05 08:29

kafka基本原理

一、kafka概述1、定义kafka是一个分布式的基于发布订阅模式的消息队列，主要用于大数据实时处理灵越2、消息队列【1】应用场景用于异步、削峰、解耦【2】两种模式（1）点对点模式一对一，消费者主动拉取数据

会飞的大鱼吃小鱼·2024-02-05 08:59

impala与kudu进行集成

概要Impala是一个开源的高效率的SQL查询引擎，用于查询存储在Hadoop分布式文件系统（HDFS）中的大规模数据集。它提供了一个类似于传统关系型数据库的SQL接口，允许用户使用SQL语言

shandongwill·2024-02-05 07:44

(二十四)ATP应用测试平台——springboot集成fastdfs上传与下载功能

fastdfs是一个轻量级的分布式文件系统，也是我们文件存储中常常使用的组件之一，主要包括文件存储、文件同步、文件访问，实现了文件存储和负载均衡的问题。

厉害哥哥吖·2024-02-05 07:07

(十四)ATP应用测试平台——使用docker-compose一键式安装ATP应用测试平台的依赖服务

不过由于依赖的增多，项目的服务也随之多了起来，例如为了测试mysql的主从集群读写分离，需要安装mysql的主从服务器，为了测试redis的哨兵模式及分布式锁机制，需要安装一套redis集群，为了测试消息中间键

厉害哥哥吖·2024-02-05 07:06

分布式延时消息的另外一种选择 Redisson （推荐使用）

前言目录前言基本使用内部数据结构介绍基本流程发送延时消息获取延时消息初始化延时队列总结因为工作中需要用到分布式的延时队列，调研了一段时间，选择使用RedissonDelayedQueue，为了搞清楚内部运行流程

漫走云雾·2024-02-05 07:41

1.0 Hadoop 教程

Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。

二当家的素材网·2024-02-05 06:38

Spring Boot+RocketMQ 实现多实例分布式环境下的事件驱动

目录1为什么要使用MQ？2整合RocketMQ依赖版本引入RocketMQ依赖解决SpringBoot3+不兼容spring.factories参考配置文件3RocketMQ使用解决SpringBoot3+不支持spring.factories的问题RocketMQ操作工具定义RocketMQ消费者定义测试类发送消息4测试1为什么要使用MQ？在SpringBootEvent这篇文章中已经通过Gua

漫走云雾·2024-02-05 06:07

云原生数据库 GaiaDB 的核心技术演进和解析

新的技术架构带来新的问题和挑战，百度智能云的云原生数据库GaiaDB采用Quorum分布式协议、高性能网络、高可靠分布式存储引擎等技术实现更高的性能和可用性。

大数据和云计算技术·2024-02-05 06:23

云计算关键技术

目录一、云计算关键技术概述1.1概述二、关键技术内容2.1虚拟化技术2.2分布式数据存储技术2.3资源管理技术2.4云计算平台管理技术2.5多租户隔离技术2.5.1多租户技术下SaaS特征2.5.2多租户技术面临的技术难题

夜夜流光相皎洁_小宁·2024-02-05 06:51

大数据框架(分区，分桶，分片)

前言在大数据分布式中，分区，分桶，分片是设计框架的重点。此篇就来总结各个框架。

坨坨的大数据·2024-02-05 06:29

Skywalking 应用笔记

概念Skywalking是一款分布式的系统性能监视工具，专为微服务、云原生架构和基于容器(Docker、K8s、Mesos)架构而设计。

KEEPMA·2024-02-05 05:29

Solo 开发者周刊（第2期）：一站式解决各类办公绘图问题

Solo 社区·2024-02-05 05:23

Solo开发者社区-重新思考云原生应用的开发模式

当前云原生应用的开发模式在FaaS环境下存在挑战，本文提出一种开发模式构想：“单体式编程，编译时拆分，分布式执行”，旨在简化云应用开发，提升开发效率和应用性能。

Solo 社区·2024-02-05 05:53

日志追踪-Tracing

1.前言分布式链路跟踪中有两个重要的概念：跟踪（trace）和跨度（span)。

孤雨蝉鸣·2024-02-05 04:34

CAP & BASE理论

Consistency）:所有节点访问同一份最新的数据副本可用性（Availability）:非故障的节点在合理的时间内返回合理的响应（不是错误或者超时的响应）分区容错性（PartitionTolerance）:分布式系统出现网络分区的时候

孤雨蝉鸣·2024-02-05 04:32

5个.NET开源且强大的快速开发框架（帮助你提高生产效率）

集成统一认证授权、事件总线、数据验证、分布式雪花Id、分布式缓存、分布式事务、IP限流、性能分析、集成测试、健康检

追逐时光者·2024-02-05 04:23

一文正确理解分层架构系统的接入层设计，以及接入层设计常见的问题和解决方案（雪崩、降级、限流、熔断）

分层架构系统之接入层分布式架构设计之接入层1、定义2、优势3、技术方案3.1、考虑的问题（负载均衡和高可用）3.2、设计方式3.2.1、单个IP地址接入3.2.2、多个IP地址随机接入3.2.2、单IP

JMW1407·2024-02-05 04:16

什么是区块链？

一种去中心化的分布式账本数据库，没有中心，数据存储的每个节点都会同步复制整个账本，信息透明难以篡改近几年，越来越多的机构开始重视并参与区块链技术研发。

1ff5311fa1f6·2024-02-05 03:10

git 从安装到常用操作命令讲解，一文教会你使用git

1、简介git是一个开源的分布式版本控制系统，其操作主要流程如下：2、git下载安装配置2.1、下载#1、下载（https://git-scm.com/）yum-yinstallcurl-develexpat-develgettext-developenssl-develzlib-develgccperl-ExtUtils-MakeMaker

知其_所以然·2024-02-05 03:25

一文讲透微服务下如何保证事务的一致性

文章目录从本地事务到分布式事务的演变强一致性解决方案2.1.二阶段提交协议2.2.三阶段提交协议最终一致性解决方案3.1.TCC模式3.2.补偿模式3.3.可靠事件模式开源项目的分布式事务实现解读4.1

chen_chen_chen_·2024-02-05 03:11

程序员思想——版本控制，常见面试题和知识点

面试当中的git和SVN的内容：git是分布式版本控制系统，SVN是集中式版本控制系统。

alcohol和cat·2024-02-05 02:15

OpenAI Gym 高级教程——分布式训练与并行化

PythonOpenAIGym高级教程：分布式训练与并行化在本篇博客中，我们将深入探讨OpenAIGym高级教程，特别关注分布式训练与并行化的方法。

Echo_Wish·2024-02-05 02:20

Elasticsearch内核剖析

Elasticsearch内核剖析-知乎大家都知道Elasticsearch是一个开源的分布式搜索和分析引擎，也是一种NoSQL数据库。

大叶子不小·2024-02-05 02:11

全局唯一ID优缺点总结

❤️文章目录全局唯一ID（分布式ID）1、UUID2、数据库自增ID3、数据库集群模式ID4、Redis自增ID5、雪花算法（SnowFlake）全局唯一ID（分布式ID）1、

欧克小奥·2024-02-05 02:40

ElasticSearch 应用实践笔记

概述介绍ES是一个开源的高扩展的分布式全文搜索引擎，是整个ElasticStack技术栈的核心。它可以近乎实时的存储，检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。

KEEPMA·2024-02-05 00:44

MongoDB 事务

使用分布式事务，可以跨多个操作、集合、数据库、文档和碎片使用事务。许多实际用例对多文档事务的需求。1.事务API以下示例突出显示了t

木西爷·2024-02-04 23:27

MongoDB安装手册

1.MongoDB介绍MongoDB是一个基于分布式文件存储的数据库，用C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

小屁孩cmq·2024-02-04 23:24

分布式组件（做成依赖版）

我在做分布式组件时需要将写好的文件上传组件上传到maven私服，现在比较常用的maven私服有Artifactory搭建maven私服，Nexus搭建maven私服，ApacheAr-chiva搭建maven

蛋皮皮652·2024-02-04 23:56

观察复杂系统内部情况的秘密武器-可观测性详解

可观测性的实现方法实现可观测性技术栈可观测性的最佳实践小结可观测性是现代软件系统和分布式架构中的核心概念，涵盖了对系统内部状态、行为以及外部影响的全面了解和分析能力。

路多辛·2024-02-04 23:34

Zookeeper相关面试准备问题

Zookeeper介绍Zookeeper从设计模式角度来理解，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生了变化，Zookeeper

大数据左右手·2024-02-04 22:52

DDoS攻击：分布式拒绝服务攻击的威胁与对策

DDoS攻击：分布式拒绝服务攻击的威胁与对策随着互联网的快速发展，网络安全威胁也在不断增加。

爱编程的鱼·2024-02-04 21:08

Flink1.18.0集成Yarn-session模式部署

上次部署了Hadoop集群Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager

china-zhz·2024-02-04 21:34

Hadoop3.3.6（HDFS、YARN、MapReduce）完全分布式集群安装搭建

目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件5、启动hadoop集群6、集群部署验证一、节点部署角色目录节点ipNNSNNDNRMNMHSnode1192.168.88.11√√node2192.168.88.12√√√√node3192

china-zhz·2024-02-04 21:33

深入解析Elasticsearch的内部数据结构和机制：行存储、列存储与倒排索引之行存（一）

Elasticsearch，作为一款强大的分布式搜索和分析引擎，正是为了满足这些需求而诞生的。它之所以能够在海量数据中实现毫秒级的搜索响应，以及灵活的数据分析，要归功于其内部精妙的数据结构和机制。

地瓜伯伯·2024-02-04 21:49

6个.NET开源且强大的快速开发框架（帮助你提高生产效率）