分布式系统mapreduce 第12页

大数据 - Hadoop系列《三》- MapReduce（分布式计算引擎）概述

上一篇文章：大数据-Hadoop系列《三》-HDFS（分布式文件系统）概述-CSDN博客目录12.1针对MapReduce的设计构思1.如何对付大数据处理场景2.构建抽象编程模型3.统一架构、隐藏底层细节

王哪跑nn·2024-01-29 23:31

Hive调优 | Hive常见数据倾斜及调优技巧

Hive在执行MapReduce任务时经常会碰到数据倾斜的问题，表现为一个或者几个reduce节点运行很慢，延长了整个任务完成的时间，这是由于某些key的条数比其他key多很多，这些Key所在的reduce

王知无·2024-01-29 21:10

电商交易系统的基本架构与设计思路

1.背景介绍1.背景介绍电商交易系统是现代电子商务中的核心组成部分，它涉及到多种技术领域，包括网络通信、数据库、分布式系统、安全性、用户界面等。

OpenChat·2024-01-29 20:54

全面解析基于Hadoop模型的数据分析平台框架

本文主要讲解以下两个方面：♦HadoopMapReduce与Hive技术研究♦数据分析平台框架设计与环境配置HadoopMapReduce与Hive技术研究一、Hadoop框架工作机制Hadoop框架定义

丨程序之道丨·2024-01-29 17:04

论述题08

在分布式系统中，由于多个节点共同竞争资源，可能导致数据不一致或冲突的问题。分布式锁通过保证在同一时间只有一个几点能够获取到锁来解决这个问题。

sunyunfei1994·2024-01-29 15:13

【Redis】Redis集群方案应该怎么做都有哪些方案

个人主页个人专栏：Redis⛳️功不唐捐，玉汝于成目录前言正文（1）twemproxy（2）codis（3）rediscluster3.0自带的集群（4）在业务代码层实现结语我的其他博客前言在构建大规模分布式系统时

还在路上的秃头·2024-01-29 12:47

网络与通信原理

网络是任何分布式系统的干道，离开这些干道，系统将被分裂成一个个互不相关的孤岛。阿里云K8s集群网络基于云上专有网络VPC而建。集群网络目前有两种实现方案，分别是Flannel和Terway。

漫长的白日梦技术大佬·2024-01-29 12:57

SpringCloud

SpringCloud是一个基于SpringBoot的开源微服务框架，它提供了一系列工具和组件，用于构建分布式系统中的常见模式，比如配置管理、服务发现、负载均衡、断路器、消息总线等。

.:::.·2024-01-29 12:58

RabbitMQ从入门到实战（图文并茂）

多用于分布式系统之间进行通信。MQ优势1、应用解耦MQ相当于一个中介，生产方通过MQ与消费方交互，它将应用程序进行解耦合。2、任务异步处理3、削峰填谷如订单系统，在下单的时候就会往数据库写数据。

慢慢敲吧·2024-01-29 12:27

RabbitMQ快速实战

多用于分布式系统之间进行通信。消息队列是一种在应用程序之间传递消息的技术。它提供了

山鸟与鱼！·2024-01-29 12:24

Spark入门01

计算框架：Spark借鉴了MapReduce思想，保留了其分布式并行计算的有点并改进了其明显的缺陷，让中间数据存储在内存中提高了运行速度、并提供丰富的操作数据的API提高了开发速度

chde2Wang·2024-01-29 11:53

SpringCloud架构基础（上）

程序员朱永胜·2024-01-29 10:27

MR和Spark的比较

1、spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的2、spark中具有DAG有向无环图，DAG有向无环图在此过程中减少了shuffle以及落地磁盘的次数3、spark是粗粒度资源申请

猿来孺词·2024-01-29 10:55

Redis -- 前置知识

目录简要分布式系统负载均衡引入缓存数据库分表微服务小结简要redis是存储数据在内存中,定义变量就是在内存中,但是redis是在分布式系统中,才能真正发挥威力,如果只是单机程序,那么直接通过变量来存储数据的方式将是最优的选择

niceffking·2024-01-29 10:17

Hadoop学习之路（七） MapReduce框架Partitioner分区

在进行MapReduce计算时，有时候需要把最终输出数据分到不同的文件中，比如按照省份划分的话，需要把同一省份的数据放到一个文件中；按照性别划分的话，需要把同一性别的数据放到一个文件中。

shine_rainbow·2024-01-29 10:26

想要彻底搞懂大厂是如何实现Redis高可用的？看这篇文章就够了！(1.2W字，建议收藏）

高可用HA（HighAvailability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%。

跟着Mic学架构·2024-01-29 10:54

面试官：跨地域场景下，如何解决分布式系统的一致性？尴尬了

导读**阿里妹导读：跨地域，即常说的“异地双活”、“异地多活”中的异地概念。**在业务发展较快的情况下，我们的服务便需要跨地域部署，以满足各区域就近访问和跨地域容灾等需求，在此过程中，不可避免会涉及到跨地域下的分布式一致性问题。由跨地域所带来的网络延迟问题，以及由于网络延迟而衍生的一系列问题，对于设计和构建一个跨地域分布式一致性系统是极大的挑战，业界有很多针对此问题的解决方案，都希望能解决跨地域场

996小迁·2024-01-29 09:41

Docker使用

分布式系统中，依赖的组件非常多，不同组件之间部署时往往会产生一些冲突。

KYGALYX·2024-01-29 08:07

设计一个分布式ID

如果是分布式系统有多态机器，可以根据机器ID再进行以下区分。如哦机器运行的特别快，1毫秒有大量ID生成，可以结合实际限制下实际生成的ID数目。

李黎明·2024-01-29 08:21

向爬虫而生---Redis 拓宽篇6＜redis分布式锁 ---ZooKeeper＞

当然,redis也有自己自带的,但它自己都承认说不是很好,那果断就用这个api...ZooKeeper是一个开源的分布式协调服务，旨在通过提供高可用、高性能的分布式协调机制来帮助构建可靠的分布式系统。

大河之J天上来·2024-01-29 07:02

《失控》后半部

《失控》后半部时间间隔一年，终于读完了《失控》的后半部分，这本书是一本脑洞很大的书，对于涌现、活系统、人工智能、分布式系统、蜂群思维、生态、弥母，文化基因印象深刻，一些地方的见解上升到了哲学的高度，让人脑洞大开

公众号：网瘾少年之路·2024-01-29 07:08

zookeeper(2) 服务器动态上下线监听案例

某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线。

叶惠美zz·2024-01-29 07:00

Hadoop, HIve, Spark关系简述

HDFS中引入了一个模块：MapReduce（基于磁盘计算）。

小白兔奶糖ovo·2024-01-29 07:22

Spring Cloud集成OAuth2和JWT

大家好，我是升仔SpringCloud、OAuth2和JWT简介SpringCloud作为微服务解决方案的重要组成部分，提供了服务发现、配置管理、负载均衡等功能，极大地简化了分布式系统环境下的服务交互。

升仔聊编程·2024-01-29 06:42

redis分片集群

一)什么是Redis集群1.1)集群这个词，只要是多个机器，构成了分布式系统，都是可以称之为是一个集群，前面学的主从复制和哨兵模式，也可以认为是广义的集群，狭义的集群就是redis提供的集群模式，这种集群模式下主要是为了解决存储空间不足的问题

写个堆排·2024-01-29 06:05

Hadoop面试题及参考答案

目录1、什么是Hadoop及其组件2、Hadoop的守护进程3、Hadoop的YARN/HDFS/MapReduce分别包含哪些组件，每个组件的职能是什么？

zuolixiangfisher·2024-01-29 06:02

【保姆级教程】Windows11下go-zero的etcd安装与初步使用

etcd介绍etcd（读作et-see-dee）是一种开源的分布式统一键值存储，用于分布式系统或计算机集群的共享配置、服务发现和调度协调。e

寸_铁·2024-01-29 06:56

大数据之Hadoop-MapReduce（1）

第1章MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。

jackyan163·2024-01-29 04:18

Hystrix使用入门

对延迟和故障进行控制，保护应用系统；在一个复杂的分布式系统中阻止级联故障；快速失败和迅速恢复；在合理的情况下回退和优雅降级；准实时监控告警；二、Hystrix入门案例我们从start.spring.io

文景大大·2024-01-29 02:09

实现幂等性：Java 代码示例与关键实践

导言在现代分布式系统中，接口的幂等性是确保系统稳定性和数据一致性的重要保证。本文将通过具体的Java代码示例，介绍一些关键实践，帮助开发者更好地理解和实现接口的幂等性。什么是幂等性？

ZKf30FkG·2024-01-29 01:01

软件系统架构黄金法则：深入解析分布式系统架构

1.背景介绍作为一位世界级人工智能专家、程序员、软件架构师、CTO、世界顶级技术畅销书作者、计算机图灵奖获得者、计算机领域大师，我们将揭开分布式系统架构的神秘面纱，探讨软件系统架构黄金法则的核心概念、联系

OpenChat·2024-01-29 00:53

Spark运行原理

Spark提供的基于RDD的一体化解决方案，将MapReduce、Streaming、SQL、MachineLearning、GraphProcessing等

hellozhxy·2024-01-28 23:41

redis cluster水平扩容中的客户端处理逻辑

作为一个分布式K-V存储，rediscluster通过将数据切分为16384个slot进行分布式存储，用公式表示如下：作为一个支持水平扩容的分布式系统，redis集群在扩容时通常遵循如下步骤：1.在新节点启动

kakaweb·2024-01-28 22:15

Java技术栈 —— Hadoop入门（二）

Java技术栈——Hadoop入门（二）一、用MapReduce对统计单词个数1.1项目流程1.2可能遇到的问题1.3代码勘误1.4总结一、用MapReduce对统计单词个数1.1项目流程(1)上传jar

键盘国治理专家·2024-01-28 21:51

flink架构

Flink是一个分布式系统，需要有效的分配和管理计算资源，以便执行流式处理应用程序。

m0_66520412·2024-01-28 20:29

Zabbix与Prometheus辨析

文章目录Zabbix主要介绍组件构成：主要特点：主要功能：适用场景：使用流程：Prometheus主要介绍数据模型：特点：工作原理：组件：区别Zabbix主要介绍Zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案

微风轻轻起x·2024-01-28 18:58

NoSQL基本原理

CAP原理指分布式系统中Consistency（一致性）、Availability（可用性）、Partitiontolerance（分区容错性）。

⑨充满智慧与力量⑨·2024-01-28 17:13

初识RPC

RPC是什么RPC是远程过程调用（RemoteProcedureCall）的简称，是分布式系统中不同节点间的一种通信方式，在互联网时代，尤其是微服务架构愈来愈火的背景下，学习和了解RPC是每一个程序员的必修课

剑指TOP·2024-01-28 17:59

分布式系统中，权限设计实践

一、权限控制1、业务背景在复杂的业务系统中，权限管理是最基础的模块，通过各种授权结构模型，管理用户在产品中可访问和可操作的边界，以实现系统和数据安全管理的目的：01-1.png通常在系统的任何层面都会涉及到一定程度的权限管控：页面层：菜单、组件、操作口；网关层：黑白名单管理、流量控制；控制层：平台、服务、API；数据层：数据库、业务表、字段；不同层面的权限管理，用来应对不同场景下的需求，例如：后台

知了一笑·2024-01-28 15:50

Redis数据一致性

分布式系统中，可以理解为多个节点中的数据是一致的。

scanklm·2024-01-28 14:12

Golang 的分布式系统：架构与实践

1.背景介绍分布式系统是现代计算机科学的一个重要领域，它涉及到多个计算机节点之间的协同工作，以实现共同完成某个任务或提供某种服务。

OpenChat·2024-01-28 14:58

简单介绍----微服务和Spring Cloud

2.什么是SpringCloudSpringCloud是一个用于构建分布式系统和微服务架构的开发工具

小白不想秃头·2024-01-28 11:43

浅谈Hive和HBase有哪些区别与联系及适用场景

当对海量数据进行搜索时，Hadoop的计算引擎是MapReduce。但是对Map

尚学先生·2024-01-28 11:19

springcloud-eureka

它利用SpringBoot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、智能路由、消息总线、负载均衡、断路器、数据监控等，都可以用SpringBoot的开发风格做到一键启动和部署

赵恩栋·2024-01-28 09:41

【GitHub项目推荐--区块链项目】【转载】

目前，区块链技术尚处于快速发展的阶段，涉及分布式系统、密码学、博弈论、网络协议等诸多学科知识，为学习和实践都带来了不小的挑战。

旅之灵夫·2024-01-28 09:43

Hive常见问题汇总

Hive和Hadoop的关系Hive构建在Hadoop之上，HQL中对查询语句的解释、优化、生成查询计划是由Hive完成的所有的数据都是存储在Hadoop中查询计划被转化为MapReduce任务，在Hadoop

不加班程序员·2024-01-28 09:37

Spring Cloud Config

Dalston.RELEASESpringCloudConfig为分布式系统中的外部配置提供服务器和客户端支持。使用ConfigServer，您可以在所有环境中管理应用程序的外部属性。

咔啡·2024-01-28 08:56

Spring Cloud 之Config详解

大家好，我是升仔在微服务架构中，统一的配置管理是维护大规模分布式系统的关键。SpringCloudConfig为微服务提供集中化的外部配置支持，它可以与各种源代码管理系统集成，如Git、SVN等。

升仔聊编程·2024-01-28 08:53

Hive面试题精选！附答案！！！

从本质上讲：Hive是讲HQL语句转换成MapReduce程序的的一个工具2.什么是数据仓库数据仓库是一个面向主题的，集成的，相对稳定的，反映历史变化的数据的集合，用于支持管理角色3.简单说说M

yhy_only·2024-01-28 07:36

hive面试题总结（大数据面试）

可以将sql语句转化为MapReduce任务进行运行。Hive提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

404个问号·2024-01-28 07:02

推荐频道

分布式系统mapreduce