分布式系统mapreduce

基于一致性哈希的分布式Top-K

基于一致性哈希的分布式Top-K在分布式系统中，数据的高效存储和快速查询是一个常见的挑战。
留白1108·2025-03-09 03:35

hadoop框架与核心组件刨析（四）MapReduce

MapReduce是一种用于大规模数据处理的编程模型和计算框架，最初由Google提出，后来由ApacheHadoop实现并广泛应用。
小刘爱喇石( ˝ᗢ̈˝ )·2025-03-09 00:42

spring_cache介绍和探索

SpringAOP技术详解：缓存抽象与性能优化实战引言在分布式系统和高并发场景中，缓存技术犹如性能优化的"瑞士军刀"。
stayhungerstayflush·2025-03-08 23:25

分布式系统设计（架构能力）

一、微服务架构服务治理Nacos注册中心（AP模式）CAP选择：Nacos默认采用AP模式（可用性+分区容忍性），通过心跳检测实现服务健康管理。服务发现：客户端定时拉取服务列表，支持权重路由和元数据过滤。配置管理：通过dataId和group动态推送配置，支持灰度发布。Sentinel熔断规则持久化规则存储：将流控、熔断规则持久化到Nacos/ZooKeeper，避免重启丢失。动态更新：通过Dat
时光不负追梦人·2025-03-08 20:19

通俗版解释：分布式和微服务就像开餐厅

一、分布式系统：把大厨房拆成多个小厨房想象你开了一家超火爆的餐厅，但原来的厨房太小了：问题：一个厨师要同时切菜、炒菜、烤面包，手忙脚乱还容易出错。
斗-匕·2025-03-08 19:12

面试基础--分布式一致性算法深度解析

分布式一致性算法深度解析：RaftvsPaxos原理、实践与源码实现引言在分布式系统设计中，一致性算法是确保多节点数据同步和系统高可用的核心技术。
WeiLai1112·2025-03-08 18:41

面试基础---分布式架构基础：CAP 理论与 BASE

分布式架构基础：CAP理论与BASE理论深度解析引言在互联网大厂的高并发、高可用场景下，分布式系统的设计是至关重要的。
WeiLai1112·2025-03-08 18:38

redis分布式锁

什么是分布式锁在分布式系统下，通过锁机制来控制资源的访问，与传统的单体项目中的synchronized,他是基于jvm的锁，即在一个springboot服务下能保证线程同步的问题，但现在我们大部分的项目部署不局限于一台服务器
JLiuli·2025-03-08 18:18

深入理解 C# 中的 DTO（数据传输对象）

总目录前言在软件开发中，特别是在分布式系统和微服务架构中，数据传输对象（DTO,DataTransferObject）是一个非常重要的设计模式。
鲤籽鲲·2025-03-08 15:20

hadoop运行java程序命令_使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0

网上的MapReduceWordCount教程对于如何编译WordCount.java几乎是一笔带过…而有写到的，大多又是0.20等旧版本版本的做法，即javac-classpath/usr/local
emi0wb·2025-03-08 09:53

大数据Hadoop集群运行程序

目录1运行自带的MapReduce程序2常见错误1运行自带的MapReduce程序下面我们在Hadoop集群上运行一个MapReduce程序，以帮助读者对分布式计算有个基本印象。
赵广陆·2025-03-08 08:37

K8S常见的面试题

答：和大多数分布式系统一样，K8S集群至少需要一个主节点（Master）和多个计算
水月清辉·2025-03-08 04:21

全方位解读消息队列：原理、优势、实例与实践要点

全方位解读消息队列：原理、优势、实例与实践要点一、消息队列基础认知在数字化转型浪潮下，分布式系统架构愈发复杂，消息队列成为其中关键一环。
恩爸编程·2025-03-08 04:46

hadoop框架与核心组件刨析（三）YARN

负载均衡广泛应用于计算机网络、分布式系统、云计算等领域。负载均衡的核心目标提高性能：通过将负载分配到多个资源，避免单个资源成为瓶颈，从而提高系统的整体性能。提高可用性：如
小刘爱喇石( ˝ᗢ̈˝ )·2025-03-08 04:46

Kafka 消息不丢失：全方位保障策略

Kafka消息不丢失：全方位保障策略引言在现代分布式系统中，Kafka作为一款高性能、高可扩展性的消息队列，被广泛应用于数据传输、日志收集、实时流处理等场景。
艾斯比的日常·2025-03-08 03:46

k8s service type_RabbitMQ(k8s)-随手笔记

介绍基于Erlang开发消息队列(AMQP)在分布式系统中,有一些功能我们希望能够提高系统稳定性,比如说支付、订单功能,服务后移,长时间操作的功能,同步数据我们通过监听数据变化实现功能联动特点分布式各节点互相冗余元数据
weixin_39873325·2025-03-08 02:42

分布式中间件：Redis介绍

的特点高性能丰富的数据结构持久化分布式特性简单易用Redis的数据结构字符串（String）哈希（Hash）列表（List）集合（Set）有序集合（SortedSet）Redis的应用场景缓存消息队列分布式锁计数器排行榜在当今的分布式系统开发中
顾北辰20·2025-03-07 23:13

万字总结！常见分布式ID解决方案（数据库、算法、开源组件）

分布式ID分布式ID（DistributedID）是指在分布式系统中生成全局唯一的标识符，用于标识不同实体或数据对象。
Java爱好狂.·2025-03-07 15:50

调用链追踪（Trace ID）

前言：在Java中实现调用链追踪（TraceID）通常用于分布式系统中跟踪请求的完整链路，常见的实现方式包括手动编码或使用开源框架（如SkyWalking、Zipkin、SpringCloudSleuth
18你磊哥·2025-03-07 15:48

请说一下你对分布式和微服务的理解

分布式系统定义：分布式系统由多个独立计算机（节点）组成，这些节点通过网络通信协作完成任务，对外表现为一个整体。特点：分布性：节点分布在不同的物理位置。并发性：多个节点可以同时执行任务。
LiuYuHani·2025-03-07 15:56

深入探索 Dubbo：高效的 Java RPC 框架

深入探索Dubbo：高效的JavaRPC框架随着微服务架构的流行，分布式系统中的服务间通信变得愈加复杂。
Kale又菜又爱玩·2025-03-07 15:56

从单块巨石到星辰大海：分布式与微服务的本质思考

一、分布式系统：宇宙观的代码映射1.核心命题的进化单机时代（1960s-2000s）：冯·诺依曼架构的终极演绎，摩尔定律撑起性能天花板分布式觉醒（2000s-）：CAP定理的启示——放弃"完美系统"的幻想
斗-匕·2025-03-07 14:21

面试基础---MySQL 分布式 ID 方案深度解析

MySQL分布式ID方案深度解析：UUID、自增ID与雪花算法引言在分布式系统中，生成全局唯一的ID是一个常见的需求。
WeiLai1112·2025-03-07 14:18

一致性哈希函数处理负载均衡（简单实现，勿喷）

一致性哈希算法是分布式系统中常用的负载均衡算法，特别适合动态变化的服务节点场景。它的核心思想是将服务节点和数据映射到一个虚拟的哈希环上，通过哈希值定位数据所属的节点。
01_·2025-03-07 13:42

Spring Boot 缓存最佳实践：从基础到生产的完整指南

SpringBoot缓存最佳实践：从基础到生产的完整指南引言在现代分布式系统中，缓存是提升系统性能的银弹。
天才选手Yoke·2025-03-07 13:11

大数据面试系列之——Hadoop

Hadoop的三个核心：HDFS（分布式存储系统）MapReduce（分布式计算系统）YARN(分布式资源调度)1.Hadoop集群的几种搭建模式1.单机模式：直接解压安装，不存在分布式存储系统2.伪分布式
潜心_守道·2025-03-07 07:17

HarmonyNext实战：基于ArkTS的分布式实时消息队列系统开发

HarmonyNext实战：基于ArkTS的分布式实时消息队列系统开发引言在HarmonyNext生态系统中，消息队列是实现分布式系统通信和异步处理的核心组件。
·2025-03-07 03:51

深入解析Java MDC：日志链路追踪的利器

二、MDC的核心作用作用说明典型场景链路追踪跟踪请求完整处理流程分布式系统调用跟踪上下文传递跨方法传递公共参数用户ID、机构号等透传日志增强自动添加公共字段到日志请求IP、
没什么技术·2025-03-06 23:57

Redis和MySQL数据一致问题怎么解决

在分布式系统中，Redis和MySQL经常同时使用，Redis通常作为缓存系统，而MySQL作为持久化数据库。二者的数据一致性和安全性问题需要特别关注。
昔我往昔·2025-03-06 20:02

浅谈常用的分布式ID的设计方案以及Snowfake是否受冬令时切换影响

是否受冬令时切换影响分布式ID定义典型实现方案基于数据库自增序列的实现UUID方案Redis方案Snowflake方案Snowfake是否受冬令时切换影响分布式ID定义全局唯一：区别于单点系统的唯一，全局是要求分布式系统内唯一
24K不怕·2025-03-06 15:47

幂等性设计原则：如何保证服务中任务不重复执行？

别怕，咱们今天就来聊聊如何用幂等性策略，让你在分布式系统或高并发场景下，稳稳地“只执行一次”！
小小小小关同学·2025-03-06 14:36

nacos架构图

架构图整体架构分为用户层、业务层、内核层和插件，用户层主要解决用户使用的易用性问题，业务层主要解决服务发现和配置管理的功能问题，内核层解决分布式系统一致性、存储、高可用等核心问题，插件解决扩展性问题。
三希·2025-03-06 10:29

HarmonyNext实战：基于ArkTS的高性能分布式数据同步应用开发

HarmonyNext实战：基于ArkTS的高性能分布式数据同步应用开发引言在分布式系统中，数据同步是一个核心问题，尤其是在多设备协同的场景下，如何高效、可靠地实现数据同步是开发者面临的重大挑战。
·2025-03-06 09:43

Zookeeper（89）Zookeeper的线性化写入是如何实现的？

这种一致性模型对于分布式系统的正确性至关重要。线性化写入的原理单一Leader：ZooKeeper通过选举机制确保在集群中只有一个Leader节点。所有的写请求都必须通过Leader进行处理。事务ID
辞暮尔尔-烟火年年·2025-03-06 09:53

hadoop

Hadoop生态系统核心组件Hadoop的核心架构主要包括HDFS（HadoopDistributedFileSystem）和YARN（YetAnotherResourceNegotiator），以及MapReduce
百里自来卷·2025-03-06 06:00

第一个Hadoop程序

我们将使用Java编写MapReduce程序，并在Hadoop集群上运行它。一、WordCount程序概述WordCount是Hadoop的“HelloWorld”程序。
lqlj2233·2025-03-06 05:53

RabbitMQ消息队列的10种应用场景

消息队列（MQ）是分布式系统中不可或缺的技术之一。刚接触MQ时，可能觉得它只是个“传话工具”，但用着用着，你会发现它简直是系统的“润滑剂”。无论是解耦、削峰，还是异步任务处理，都离不开MQ的身影。
喵小狸·2025-03-06 05:19

Spring Cloud 和 Dubbo 区别

以下是两者的核心区别及各自的优缺点分析：一、核心区别1.初始定位与设计理念SpringCloud：定位为微服务架构的一站式解决方案，提供完整的分布式系统开发工具链（如服务注册、配置中心、网关、熔断器等）
·2025-03-06 01:05

为什么使用 RocketMQ？

适用场景：大规模分布式系统，日均处理百亿级消息，尤其适合金融交易、订单处理等高并发场景
·2025-03-06 01:34

干掉复杂代码！ Spring Boot + CQRS 黄金组合，太优雅了！

在分布式系统中，服务通常需要自治和高度解耦，CQRS提供了一条清晰的路径。每个微服务都可以采用CQRS模式，确保其处理命令和查询的内部机制从其他服务中抽象出来。
程序员蜗牛g·2025-03-05 23:34

【自学笔记】Hadoop基础知识点总览-持续更新

目录可以自动生成，如何生成可参考右边的帮助文档文章目录Hadoop基础知识点总览1.Hadoop简介2.Hadoop生态系统3.HDFS（HadoopDistributedFileSystem）HDFS基本命令4.MapReduceWordCount
Long_poem·2025-03-05 22:24

【高并发】Java 高并发 HTTP 接口优化：如何在 10 毫秒内调用 20+ 服务？

在分布式系统中，一个HTTP接口调用多个外部服务是常见场景。但如果需要在10毫秒内完成20+服务调用，就面临网络延迟、线程切换、I/O阻塞等挑战。
工一木子·2025-03-05 18:54

Go编程基础——详细讲解Golang的语法特性和运行机制

它主要被用于构建简单、可靠且高效的分布式系统应用。本书旨在帮助读者快速掌握Go语言的使用方法并理解其特性，能够写出更加健壮和可维护的程序。
AI天才研究院·2025-03-05 17:44

我们为什么需要服务发现？服务发现的基本概念和流程，并通过实践案例说明如何利用服务发现构建微服务架构 Why Do We Need Service Discovery?

作者：禅与计算机程序设计艺术1.简介在现代分布式系统架构中，服务发现（ServiceDiscovery）在微服务架构、云计算和容器化架构等方面扮演着至关重要的角色。
AI天才研究院·2025-03-05 13:33

Token设计指南：实现动态用户信息与权限管理

与传统的Session机制相比，Token具有无状态、可扩展性强、适合分布式系统等优势。然而，如何设计一个既能保证安全性，又能随时获取最新用户信息和权限的Token系统，是一个值得深入探讨的问题。
格子先生Lab·2025-03-05 12:51

分布式系统的核心挑战与解决方案

1、分布式系统的引入在移动互联网、云计算和物联网的推动下，现代软件系统需要处理亿级用户请求、PB级数据存储和毫秒级响应需求。传统的单体架构受限于单机性能瓶颈和容灾能力，逐渐被分布式系统取代。
小马不敲代码·2025-03-05 12:51

关于在spring boot中使用lua脚本结合的讨论

在分布式系统和高并发场景下，Redis是一种非常流行的缓存和数据库解决方案。而在某些复杂的业务场景中，单一的Redis命令无法满足我们对原子性和效率的需求。
fall-rain·2025-03-05 11:18

Spark是什么？可以用来做什么？

相比传统的HadoopMapReduce，Spark在速度、易用性和功能多样性上具有显著优势。
Bugkillers·2025-03-05 10:37

Java RPC（远程过程调用）技术详解

在当今分布式系统盛行的时代，服务间的通信变得至关重要。
黄尚圈圈·2025-03-05 05:07

golang分布式中间件之MySQL

MySQL是广泛应用于Web应用程序和其他分布式系统中的关系型数据库管理系统（RDBMS）。在golang分布式中间件领域，MySQL作为一种常用工具，被广泛使用。
SMILY12138·2025-03-05 04:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他