Hadoop分布式系统基础框架

分布式系统设计（架构能力）

一、微服务架构服务治理Nacos注册中心（AP模式）CAP选择：Nacos默认采用AP模式（可用性+分区容忍性），通过心跳检测实现服务健康管理。服务发现：客户端定时拉取服务列表，支持权重路由和元数据过滤。配置管理：通过dataId和group动态推送配置，支持灰度发布。Sentinel熔断规则持久化规则存储：将流控、熔断规则持久化到Nacos/ZooKeeper，避免重启丢失。动态更新：通过Dat
时光不负追梦人·2025-03-08 20:19

通俗版解释：分布式和微服务就像开餐厅

一、分布式系统：把大厨房拆成多个小厨房想象你开了一家超火爆的餐厅，但原来的厨房太小了：问题：一个厨师要同时切菜、炒菜、烤面包，手忙脚乱还容易出错。
斗-匕·2025-03-08 19:12

面试基础--分布式一致性算法深度解析

分布式一致性算法深度解析：RaftvsPaxos原理、实践与源码实现引言在分布式系统设计中，一致性算法是确保多节点数据同步和系统高可用的核心技术。
WeiLai1112·2025-03-08 18:41

面试基础---分布式架构基础：CAP 理论与 BASE

分布式架构基础：CAP理论与BASE理论深度解析引言在互联网大厂的高并发、高可用场景下，分布式系统的设计是至关重要的。
WeiLai1112·2025-03-08 18:38

redis分布式锁

什么是分布式锁在分布式系统下，通过锁机制来控制资源的访问，与传统的单体项目中的synchronized,他是基于jvm的锁，即在一个springboot服务下能保证线程同步的问题，但现在我们大部分的项目部署不局限于一台服务器
JLiuli·2025-03-08 18:18

深入理解 C# 中的 DTO（数据传输对象）

总目录前言在软件开发中，特别是在分布式系统和微服务架构中，数据传输对象（DTO,DataTransferObject）是一个非常重要的设计模式。
鲤籽鲲·2025-03-08 15:20

hadoop 运行java程序_原生态在Hadoop上运行Java程序

第一种：原生态运行jar包1，利用eclipse编写Map-Reduce方法，一般引入Hadoop-core-1.1.2.jar。
淇水煮汤·2025-03-08 09:23

hadoop运行java程序命令_使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0

网上的MapReduceWordCount教程对于如何编译WordCount.java几乎是一笔带过…而有写到的，大多又是0.20等旧版本版本的做法，即javac-classpath/usr/local/hadoop
emi0wb·2025-03-08 09:53

大数据Hadoop集群运行程序

目录1运行自带的MapReduce程序2常见错误1运行自带的MapReduce程序下面我们在Hadoop集群上运行一个MapReduce程序，以帮助读者对分布式计算有个基本印象。
赵广陆·2025-03-08 08:37

K8S常见的面试题

答：和大多数分布式系统一样，K8S集群至少需要一个主节点（Master）和多个计算
水月清辉·2025-03-08 04:21

全方位解读消息队列：原理、优势、实例与实践要点

全方位解读消息队列：原理、优势、实例与实践要点一、消息队列基础认知在数字化转型浪潮下，分布式系统架构愈发复杂，消息队列成为其中关键一环。
恩爸编程·2025-03-08 04:46

hadoop框架与核心组件刨析（三）YARN

负载均衡广泛应用于计算机网络、分布式系统、云计算等领域。负载均衡的核心目标提高性能：通过将负载分配到多个资源，避免单个资源成为瓶颈，从而提高系统的整体性能。提高可用性：如
小刘爱喇石( ˝ᗢ̈˝ )·2025-03-08 04:46

Kafka 消息不丢失：全方位保障策略

Kafka消息不丢失：全方位保障策略引言在现代分布式系统中，Kafka作为一款高性能、高可扩展性的消息队列，被广泛应用于数据传输、日志收集、实时流处理等场景。
艾斯比的日常·2025-03-08 03:46

k8s service type_RabbitMQ(k8s)-随手笔记

介绍基于Erlang开发消息队列(AMQP)在分布式系统中,有一些功能我们希望能够提高系统稳定性,比如说支付、订单功能,服务后移,长时间操作的功能,同步数据我们通过监听数据变化实现功能联动特点分布式各节点互相冗余元数据
weixin_39873325·2025-03-08 02:42

分布式中间件：Redis介绍

的特点高性能丰富的数据结构持久化分布式特性简单易用Redis的数据结构字符串（String）哈希（Hash）列表（List）集合（Set）有序集合（SortedSet）Redis的应用场景缓存消息队列分布式锁计数器排行榜在当今的分布式系统开发中
顾北辰20·2025-03-07 23:13

Doris 数据集成 Kafka

这是我们Doris数据集成篇的第二篇，前面我们介绍过通过Catalog进行集成的例子Doris基础篇—数据集成Catalog目前公司的很多数据服务都开始使用Doris了，目前使用下来感觉还是很方便的，比起Hadoop
不二人生·2025-03-07 16:29

万字总结！常见分布式ID解决方案（数据库、算法、开源组件）

分布式ID分布式ID（DistributedID）是指在分布式系统中生成全局唯一的标识符，用于标识不同实体或数据对象。
Java爱好狂.·2025-03-07 15:50

调用链追踪（Trace ID）

前言：在Java中实现调用链追踪（TraceID）通常用于分布式系统中跟踪请求的完整链路，常见的实现方式包括手动编码或使用开源框架（如SkyWalking、Zipkin、SpringCloudSleuth
18你磊哥·2025-03-07 15:48

请说一下你对分布式和微服务的理解

分布式系统定义：分布式系统由多个独立计算机（节点）组成，这些节点通过网络通信协作完成任务，对外表现为一个整体。特点：分布性：节点分布在不同的物理位置。并发性：多个节点可以同时执行任务。
LiuYuHani·2025-03-07 15:56

深入探索 Dubbo：高效的 Java RPC 框架

深入探索Dubbo：高效的JavaRPC框架随着微服务架构的流行，分布式系统中的服务间通信变得愈加复杂。
Kale又菜又爱玩·2025-03-07 15:56

从单块巨石到星辰大海：分布式与微服务的本质思考

一、分布式系统：宇宙观的代码映射1.核心命题的进化单机时代（1960s-2000s）：冯·诺依曼架构的终极演绎，摩尔定律撑起性能天花板分布式觉醒（2000s-）：CAP定理的启示——放弃"完美系统"的幻想
斗-匕·2025-03-07 14:21

面试基础---MySQL 分布式 ID 方案深度解析

MySQL分布式ID方案深度解析：UUID、自增ID与雪花算法引言在分布式系统中，生成全局唯一的ID是一个常见的需求。
WeiLai1112·2025-03-07 14:18

一致性哈希函数处理负载均衡（简单实现，勿喷）

一致性哈希算法是分布式系统中常用的负载均衡算法，特别适合动态变化的服务节点场景。它的核心思想是将服务节点和数据映射到一个虚拟的哈希环上，通过哈希值定位数据所属的节点。
01_·2025-03-07 13:42

Spring Boot 缓存最佳实践：从基础到生产的完整指南

SpringBoot缓存最佳实践：从基础到生产的完整指南引言在现代分布式系统中，缓存是提升系统性能的银弹。
天才选手Yoke·2025-03-07 13:11

大数据面试系列之——Hadoop

Hadoop的三个核心：HDFS（分布式存储系统）MapReduce（分布式计算系统）YARN(分布式资源调度)1.Hadoop集群的几种搭建模式1.单机模式：直接解压安装，不存在分布式存储系统2.伪分布式
潜心_守道·2025-03-07 07:17

HarmonyNext实战：基于ArkTS的分布式实时消息队列系统开发

HarmonyNext实战：基于ArkTS的分布式实时消息队列系统开发引言在HarmonyNext生态系统中，消息队列是实现分布式系统通信和异步处理的核心组件。
·2025-03-07 03:51

React生态、Vue生态与跨框架前端解决方案

React生态系统1基础框架React.js是一个用于构建UI的JavaScript库。2应用框架Next.js是基于React.js的完整应用框架。
Coder LM Wang·2025-03-07 00:38

Azkaban其一，介绍、体系架构和安装

比如：想启动hadoop集群先启动zk集群，再启动hdfs,再启动yarn，再启动日志系统工作过程中总会遇到多个脚本执行的时候有顺序。任务可以有一个编排的工具
出发行进·2025-03-07 00:35

深入解析Java MDC：日志链路追踪的利器

二、MDC的核心作用作用说明典型场景链路追踪跟踪请求完整处理流程分布式系统调用跟踪上下文传递跨方法传递公共参数用户ID、机构号等透传日志增强自动添加公共字段到日志请求IP、
没什么技术·2025-03-06 23:57

Redis和MySQL数据一致问题怎么解决

在分布式系统中，Redis和MySQL经常同时使用，Redis通常作为缓存系统，而MySQL作为持久化数据库。二者的数据一致性和安全性问题需要特别关注。
昔我往昔·2025-03-06 20:02

浅谈常用的分布式ID的设计方案以及Snowfake是否受冬令时切换影响

是否受冬令时切换影响分布式ID定义典型实现方案基于数据库自增序列的实现UUID方案Redis方案Snowflake方案Snowfake是否受冬令时切换影响分布式ID定义全局唯一：区别于单点系统的唯一，全局是要求分布式系统内唯一
24K不怕·2025-03-06 15:47

Stable Diffusion模型Pony系列模型深度解析

StableDiffusion模型Pony系列模型深度解析一、技术架构与核心特性基于SDXL的深度优化Pony系列模型以SDXL为基础框架，通过针对二次元/动漫风格的微调，强化了在该领域的生成能力，同时保留了对写实场景的兼容性‌
Liudef06·2025-03-06 15:44

幂等性设计原则：如何保证服务中任务不重复执行？

别怕，咱们今天就来聊聊如何用幂等性策略，让你在分布式系统或高并发场景下，稳稳地“只执行一次”！
小小小小关同学·2025-03-06 14:36

hdfs HA 机制， 一台 namenode 宕机了， joualnode ， namenode ， edit.log fsimage 的 变 化？思维导图 代码示例（java 架构)

HDFS（HadoopDistributedFileSystem）的高可用性（HA,HighAvailability）机制旨在解决单点故障问题，确保即使在NameNode出现故障的情况下，文件系统仍然可以继续正常工作
用心去追梦·2025-03-06 10:00

nacos架构图

架构图整体架构分为用户层、业务层、内核层和插件，用户层主要解决用户使用的易用性问题，业务层主要解决服务发现和配置管理的功能问题，内核层解决分布式系统一致性、存储、高可用等核心问题，插件解决扩展性问题。
三希·2025-03-06 10:29

HarmonyNext实战：基于ArkTS的高性能分布式数据同步应用开发

HarmonyNext实战：基于ArkTS的高性能分布式数据同步应用开发引言在分布式系统中，数据同步是一个核心问题，尤其是在多设备协同的场景下，如何高效、可靠地实现数据同步是开发者面临的重大挑战。
·2025-03-06 09:43

Zookeeper（89）Zookeeper的线性化写入是如何实现的？

这种一致性模型对于分布式系统的正确性至关重要。线性化写入的原理单一Leader：ZooKeeper通过选举机制确保在集群中只有一个Leader节点。所有的写请求都必须通过Leader进行处理。事务ID
辞暮尔尔-烟火年年·2025-03-06 09:53

IntelliJ IDEA + Maven环境编写第一个hadoop程序

1.新建IntelliJ下的maven项目点击File->New->Project，在弹出的对话框中选择Maven，JDK选择你自己安装的版本，点击Next2.填写Maven的GroupId和ArtifactId你可以根据自己的项目随便填，点击Next这样就新建好了一个空的项目这里程序名填写WordCount,我们的程序是一个通用的网上的范例,用来计算文件中单词出现的次数3.设置程序的编译版本打开
IT独白者·2025-03-06 06:00

hadoop

Hadoop是一个用于分布式存储和处理大规模数据的开源框架，它的架构主要由以下几个核心组件组成：1.Hadoop生态系统核心组件Hadoop的核心架构主要包括HDFS（HadoopDistributedFileSystem
百里自来卷·2025-03-06 06:00

第一个Hadoop程序

编写和运行第一个Hadoop程序是学习Hadoop的重要步骤。以下是一个经典的“WordCount”程序示例，它统计文本文件中每个单词出现的次数。
lqlj2233·2025-03-06 05:53

在虚拟机上安装 Hadoop 全攻略

在虚拟机上安装Hadoop是进入大数据处理和分析领域的重要一步。
麻芝汤圆·2025-03-06 05:22

RabbitMQ消息队列的10种应用场景

消息队列（MQ）是分布式系统中不可或缺的技术之一。刚接触MQ时，可能觉得它只是个“传话工具”，但用着用着，你会发现它简直是系统的“润滑剂”。无论是解耦、削峰，还是异步任务处理，都离不开MQ的身影。
喵小狸·2025-03-06 05:19

Spring Cloud 和 Dubbo 区别

以下是两者的核心区别及各自的优缺点分析：一、核心区别1.初始定位与设计理念SpringCloud：定位为微服务架构的一站式解决方案，提供完整的分布式系统开发工具链（如服务注册、配置中心、网关、熔断器等）
·2025-03-06 01:05

为什么使用 RocketMQ？

适用场景：大规模分布式系统，日均处理百亿级消息，尤其适合金融交易、订单处理等高并发场景
·2025-03-06 01:34

干掉复杂代码！ Spring Boot + CQRS 黄金组合，太优雅了！

在分布式系统中，服务通常需要自治和高度解耦，CQRS提供了一条清晰的路径。每个微服务都可以采用CQRS模式，确保其处理命令和查询的内部机制从其他服务中抽象出来。
程序员蜗牛g·2025-03-05 23:34

【自学笔记】Hadoop基础知识点总览-持续更新

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Hadoop基础知识点总览1.Hadoop简介2.Hadoop生态系统3.HDFS（HadoopDistributedFileSystem
Long_poem·2025-03-05 22:24

【高并发】Java 高并发 HTTP 接口优化：如何在 10 毫秒内调用 20+ 服务？

在分布式系统中，一个HTTP接口调用多个外部服务是常见场景。但如果需要在10毫秒内完成20+服务调用，就面临网络延迟、线程切换、I/O阻塞等挑战。
工一木子·2025-03-05 18:54

纯前端实现「羊了个羊」小游戏(附源码）

由于篇幅限制，这里只提供一个基础框架和一些关键点的实现思路。准备工作工具选择：使用一个现代的前端框架，如React、Vue或Angular。这里以React为例。
软件技术NINI·2025-03-05 17:50

Go编程基础——详细讲解Golang的语法特性和运行机制

它主要被用于构建简单、可靠且高效的分布式系统应用。本书旨在帮助读者快速掌握Go语言的使用方法并理解其特性，能够写出更加健壮和可维护的程序。
AI天才研究院·2025-03-05 17:44

我们为什么需要服务发现？服务发现的基本概念和流程，并通过实践案例说明如何利用服务发现构建微服务架构 Why Do We Need Service Discovery?

作者：禅与计算机程序设计艺术1.简介在现代分布式系统架构中，服务发现（ServiceDiscovery）在微服务架构、云计算和容器化架构等方面扮演着至关重要的角色。
AI天才研究院·2025-03-05 13:33
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他