分布式系统mapreduce

Docker实用篇

分布式系统中，依赖的组件非常多，不同组件之间部署时往往会产生一些冲突。
程序媛9688·2024-02-01 18:16

服务器名词解释

高可用HA（HighAvailability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%。
jjyy2233667·2024-02-01 12:33

大数据之Spark

Spark介绍什么是Spark专为大规模数据处理而设计的快速通用的计算引擎类HadoopMapReduce的通用并行计算框架拥有HadoopMapReduce所具有的优点但不同于MapReduce的是Job
进击的-小胖子·2024-02-01 12:37

spark比mapreduce快的yuanyin

spark是基于内存计算的，而mapreduce会将数据暂存在文件系统中，增加了可靠性但降低了性能DAG有向无环图，spark的有向无环图可以减少shuffle，在不需要其他节点数据的情况下(窄依赖)，
_or·2024-02-01 12:35

大数据之Spark:Spark大厂面试真题

目录1.通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？2.hadoop和spark使用场景？3.spark如何保证宕机迅速恢复?
浊酒南街·2024-02-01 12:35

Spark系列（十）Shuffle的技术难点问题--Spark比MapReduce快的真正原因

写在前面：我是「nicedays」，一枚喜爱做特效，听音乐，分享技术的大数据开发猿。这名字是来自worldorder乐队的一首HAVEANICEDAY。如今，走到现在很多坎坷和不顺，如今终于明白niceday是需要自己赋予的。白驹过隙，时光荏苒，珍惜当下~~写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对大数据与机器学习感兴趣，可以关注我的动
NICEDAYSS·2024-02-01 12:03

【论文笔记】OSDI04 MapReduce: Simplified Data Processing on Large Clusters

MapReduce是一种编程模型（类似于现在的框架），主要是将分布式算法进行了抽象，MP负责处理分布式中的容错、通信等，程序员只需要关注具体的业务实现，即Mapper和Reducer的逻辑。
qq_38420683·2024-02-01 12:03

Spark比Mapreduce快的原因

1）基于内存spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的。MapReduce的设计：中间结果保存在文件中，提高了可靠性，减少了内存占用。但是牺牲了性能。
Rnan-prince·2024-02-01 12:33

【大数据开发 Spark】第一篇：Spark 简介、Spark 的核心组成（5大模块）、Spark 的主要特征（4大特征）、Spark 对比 MapReduce

文章目录1Spark简介2Spark的核心组成（5大模块）3Spark的主要特征（4大特征）4Spark对比MapReduce1Spark简介初步了解一项技术，最好的方式就是去它的官网首页，一般首页都会有十分官方且准确的介绍
超周到的程序员·2024-02-01 12:02

为什么Spark比MapReduce快

client提交一个application可能包含多个job，mr中一个mr程序就是一个job，spark中一个DAG就是一个job。程序运行方面1）多个依赖关系的mr程序中，reduce产生的结果必须落盘，spark程序在没有shuffle时，数据不用落盘。mr中间产生的文件，哪怕1K，也都要落盘。而且多个任务串联，任务与任务之间都是独立的。独立的多个任务，在调度方面也要浪费时间，必须等到这个任
认知偏差·2024-02-01 12:02

经典论文研读：《Bigtable: A Distributed Storage System for Structured Data》

一概述BigTable是以大神JeffreyDean为首的Google团队在2006年公开的分布式存储系统，是Google“三驾马车”论文中（GFS、MapReduce、BigTable）中最后公开的。
WanderingScorpion·2024-02-01 12:02

大数据之 Spark 与 Hadoop MapReduce 对比

ApacheSpark和ApacheHadoopMapReduce是两个广泛用于大数据处理的开源框架，它们在设计目标、性能表现和功能特性上有显著的不同点：执行模型：MapReduce(MR)：基于批处理模式
转身成为了码农·2024-02-01 12:30

大数据之 Spark Shuffle 和 Hadoop MapReduce Shuffle的区别

SparkShuffle和HadoopMapReduceShuffle是分布式计算框架中处理中间结果的关键阶段，它们的主要区别在于设计原理、执行效率和资源利用率：HadoopMapReduceShuffleSort-based
转身成为了码农·2024-02-01 12:30

为什么Spark比MapReduce快的原因

核心答案1、基于内存学过Spark的应该都知道，Spark是基于内存进行数据处理操作的，而MapReduce则是基于磁盘进行数据处理。
Stray_Lambs·2024-02-01 12:59

spark处理速度为什么比MapReduce快？

对比：MR(mapreduce)：Spark:可以看出MR
CoreDao·2024-02-01 12:29

大数据之 Spark 比 MapReduce 快的原因

Spark比MapReduce（MR）快的原因可以总结如下：内存计算：Spark的核心设计是基于内存的计算模型，它将中间数据尽可能保留在内存中。
转身成为了码农·2024-02-01 12:57

【ASP.NET Core 基础知识】--Web API--创建和配置Web API（一）

服务间通信：在分布式系统中，不同的服务需要相互通信。W
喵叔哟·2024-02-01 11:28

Kafka延迟队列的实现方式

在现代的分布式系统中，延迟队列是一种常见的解决方案，用于处理具有延迟要求的任务或消息。ApacheKafka是一个高性能、可扩展的分布式消息队列，可以作为延迟队列的基础设施。
一叶飘零_sweeeet·2024-02-01 11:26

java中实现事务的两种方式：编程式事务和声明式事务

在项目开发中，事务又可以分为单体事务和分布式事务，对于分布式系统要实现事务会比较复杂，有时候需要引入第三方系统控制一致性；而传统的单体应用就比较容易
腊笔不小新xingo·2024-02-01 10:42

面试题：谈谈分布式系统中的补偿机制如何设计？

文章目录前言一、关于业务补偿机制1、什么是业务补偿2、业务补偿设计的实现方式二、关于回滚1、显示回滚2、回滚的实现方式三、关于重试1、重试的使用场景2、重试策略3、重试时的注意事项四、业务补偿机制的注意事项1、ACID还是BASE2、业务补偿设计的注意事项前言我们知道，应用系统在分布式的情况下，在通信时会有着一个显著的问题，即一个业务流程往往需要组合一组服务，且单单一次通信可能会经过DNS服务，网
xuxu1116·2024-02-01 10:25

分布式系统中的CAP的原理

前言分布式系统（distributedsystem）正变得越来越重要，大型网站几乎都是分布式的。分布式系统的最大难点，就是各个节点的状态如何同步。
Devincd·2024-02-01 10:15

Hadoop-MapReduce-源码跟读-ReduceTask阶段篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、Reducer类我们先看下我们写的reduce所继承的Reducer类publicclassReducer{/***传递给Reducer实现的上下文*/publicabstractclassContextimplementsReduceContex
隔着天花板看星星·2024-02-01 09:54

Spring Cloud Sleuth 全链路日志跟踪解决方案（强烈推荐）

一、概述1.1.分布式系统面临的问题在微服务框架中，一个由客户端发起的请求在后端系统中会经过多个不同的的服务节点调用来协同产生最后的请求结果，每一个次请求都会形成一条复杂的分布式服务调用链路，链路中的任何一环出现高延时或错误都会引起整个请求最后的失败
肥肥技术宅·2024-02-01 09:23

消息中间件（MQ）对比：RabbitMQ、Kafka、ActiveMQ 和 RocketMQ

前言在构建分布式系统时，选择适合的消息中间件是至关重要的决策。RabbitMQ、Kafka、ActiveMQ和RocketMQ是当前流行的消息中间件之一，它们各自具有独特的特点和适用场景。
CodeArtisanX·2024-02-01 07:07

Zookeeper分布式命名服务实战

ZooKeeper的命名服务主要是利用ZooKeeper节点的树形分层结构和子节点的顺序维护能力，来为分布式系统中的资源命名。需要用到分布式命名服务的应用场景典型
山鸟与鱼！·2024-02-01 07:19

HBase介绍

一、HBase简介1.1、HBase是什么Google在200-2006发表了GFS、MapReduce、BigTable三篇论文，号称“三驾马车”，开启了大数据的时代。
M.Rambo·2024-02-01 06:09

芋道源码的周八（2018.02.11）

MySQL数据库的“十宗罪”（附10大经典错误案例）》《springboot去除autoconfig的两个方法》《Tomcat学习四步走：内核、集群、参数及性能（有彩蛋）》《从Elasticsearch来看分布式系统架构设计
芋道源码·2024-02-01 06:48

Hadoop 大数据技术原理与应用

大数据技术原理与应用大数据概述定义特征大量，多样，高速，价值研究意义应用场景医疗，金融，零售Hadoop概述历史优势扩容能力强，成本低，高效率，可靠性，高容错Hadoop生态分布式存储系统（HDFS）分布式计算框架（MapReduce
kk8_·2024-02-01 04:33

Hadoop 生产调优 (七) --------- MapReduce 与 Yarn 生产经验

目录一、MapReduce生产经验1.MapReduce跑的慢的原因2.MapReduce常用调优参数3.MapReduce数据倾斜问题二、Yarn生产经验1.常用的调优参数2.三种调度器的使用一、MapReduce
在森林中麋了鹿·2024-02-01 03:17

2024-01-31（MapReduce，YARN）

1.MapReduce---分布式计算框架MapReduce是分散--->汇总模式的分布式框架，可以供开发人员开发相关程序进行分布式数据计算MapReduce提供了2个编程接口：Map接口，Reduce
陈xr·2024-02-01 03:17

Redis 主从复制

在分布式系统中为了解决单点问题，通常会把数据复制多个副本部署到其他服务器，满足故障恢复和负载均衡等需求。Redis也是如此，它为我们提供了复制的功能，实现了相同数据的多个Redis副本。
ikun66666·2024-02-01 02:09

Hive简介

Hive的优势通过java或者python直接操作MapReduce，也可以做分析，但是开发难度稍大。通过SQL做分析，相对简单易上手。
t_813·2024-01-31 22:03

Raft

复制状态机在分布式系统中被用于解决很多容错的问题。1.png复制状态机通常都是基于复制日志实现的，如上图。每一个服务器存储一个包含一系列指令的日志，并且按照日志的顺序进行执行。
小睿千万别秃头·2024-01-31 22:30

Zookeeper的核心组件与架构

它提供了一种可靠的、高性能的协调服务，用于解决分布式系统中的一些常见问题，如集群管理、配置管理、负载均衡、分布式锁等。Zookeeper的核心组件和架构是构建分布式应用程序的关键基础设施之一。
OpenChat·2024-01-31 18:40

黑猴子的家：MapReduce 找微信共同好友分析

1、数据https://www.jianshu.com/p/1613f171f4662、需求以上是微信的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的）求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？3、需求分析先求出A、B、C、….等是谁的好友第一次输出结果AI,K,C,B,G,F,H,O,D,BA,F,J,E,CA,E,B,H,F,G,K,DG,C,K
黑猴子的家·2024-01-31 18:37

SpringCloud Sleuth链路追踪

SpringCloudSleuth提供了一套完整的服务跟踪的解决方案，在分布式系统中提供追踪解决方案并且兼容支持了zipkin。
七七真的是太棒了·2024-01-31 17:02

Spring Cloud Bus消息总线

SpringCloudBus是用来将分布式系统的节点与轻量级消息系统链接起来的框架，它整合了Java的事件处理机制和消息中间件的功能。SpringCludBus目前支持RabbitMQ和Kafka。
七七真的是太棒了·2024-01-31 17:01

UUID的介绍与使用

UUID的目的是让标识符在所有的时间和空间中都是唯一的，从而减少或消除标识符在分布式系统中的冲突。
Persistence is gold·2024-01-31 17:41

Gateway API 实践之（六）FSM Gateway 的健康检查功能

这一功能在微服务或分布式系统中尤为关键，因为它通过及时识别并隔离故障或性能下降的服务，来维护系统的高可用性和弹性。通过健康检查，网关能够保证请求负载被有效
Flomesh·2024-01-31 15:52

什么是分布式系统！以及分布式系统架构的优缺点

那什么是分布式系统？分布式系统是支持分布式处理的软件系统，是由通信网络互联的多处理机体系结构上执行任务的系统。包括分布式操作系统、分布式程序设计语言及其编译系统、分布式文件系统分
架构师Javaspring·2024-01-31 15:57

Java目前合适您诉求的职位一览

研发工程师岗位描述负责会员核心业务产品开发岗位要求本科及以上学历，计算机软件或相关专业；3年及以上使用JAVA开发的经验，JAVA基础扎实，理解io、多线程、集合等基础框架，对JVM原理有一定的了解，对Spring,ibatis,struts等开源框架熟悉；熟悉分布式系统的设计和应用
持续成长的mage·2024-01-31 10:28

漏洞复现----13、Apache Flink 文件上传漏洞 (CVE-2020-17518)

ApacheFlink是一个分布式系统，它需要计算资源来执行应用程序。Flink集成了所有常见的集群资源管理
七天啊·2024-01-31 10:53

Apache Flink 文件上传漏洞 (CVE-2020-17518)

ApacheFlink是一个分布式系统，它需要计算资源来执行应用程序。Flink集成了所有常见的集群资源管理
zxl2605·2024-01-31 10:22

SpringCloud Gateway视频教程 Sentinel视频教程 Nacos视频教程

Springcloud视频教程（精华版）目录精华版：极致简洁、不废话by疯狂创客圈视频地址：进入学习请点击第1篇分布式系统与SpringCloud§1：SpringCloud与分布式基础框架简介问题1：
40岁资深老架构师尼恩·2024-01-31 09:25

Hadoop-MapReduce-源码跟读-MapTask阶段篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、Mapper类我们先看下我们写的map所继承的Mapper类publicclassMapper{/***传递给Mapper实现的Context*/publicabstractclassContextimplementsMapContext{}/**
隔着天花板看星星·2024-01-31 07:29

Hadoop生态系统中一些关键组件的详细解析

MapReduce:一种编程模型，用于在分布式环境中处理大量数据。工作分为两个阶段：Map（映射）和Reduce（归约）。适合于大批量数据处理任务。YARN（YetAnotherResourc
薛定谔的zhu·2024-01-31 07:27

RabbitMQ简介及其核心概念

AMQP（AdvancedMessageQueuingProtocol高级消息队列协议）实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.Net、Java、C，用于在分布式系统中存储转发消息
水宝的滚动歌词·2024-01-31 07:51

32个Java面试必考点-10架构的演进之路与前沿技术

本课时会讲解分布式系统架构以及面试中做项目介绍的技巧，重点有如下三部分。1.介绍系统架构的演进：包括微服务架构、云原生以及业界最新趋势ServiceMesh。
机智阳·2024-01-31 07:21

分布式虚拟文件系统，如何实现多种存储系统的融合

随着大数据技术和人工智能技术的发展，各种框架应运而生，比如大数据领域中的MapReduce和Spark，人工智能领域中的TensorFlow和PyTorch等。
数据存储张·2024-01-31 07:20

大数据 ---分布式并行计算框架MapReduce

分布式并行计算框架MapReduce是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。游戏中，目标是计算每组纸条中每个图形的总个数。一共八个步骤，每个步骤都是计算的一部分，是框架的一部分。
谪仙逍遥·2024-01-31 06:21
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他