分布式系统mapreduce

淘宝的十年「架构变迁」

特别说明：本文以淘宝为例仅仅是为了便于说明演进过程可能遇到的问题，并非是淘宝真正的技术演进路径基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍：分布式系统中的多
程序员xysam·2024-02-20 08:18

测试环境搭建整套大数据系统（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

一：搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二：搭建hadoop，yarn，mapreduce。
宇智波云·2024-02-20 08:05

分布式事务

本地事务本地事务是指单个数据库上的事务操作，一个本地事务允许一个数据库连接满足ACID（原子、一致、隔离、持久）刚性事务规范分布式事务分布式事务属于柔性事务，满足CAP和BASE理论CAP：指的是在一个分布式系统中
与遨游于天地·2024-02-20 07:15

Hadoop Streaming原理

Streaming简介•MapReduce和HDFS采用Java实现，默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用•Streaming
可乐加冰丶丶·2024-02-20 07:18

springcloud面试题

使用SpringBoot开发分布式微服务时，我们面临以下问题（1）与分布式系统相关的复杂性-这种开销包括网络问
陈二狗想吃肉·2024-02-20 07:43

SpringCloud-Config：分布式配置

10.SpringCloudConfig分布式配置Dalston.RELEASESpringCloudConfig为分布式系统中的外部配置提供服务器和客户端支持。
666-LBJ-666·2024-02-20 07:48

分布式事务理论基础

cap理论：一致性(C)：指在分布式系统中，所有节点在同一时刻存储的数值是一样的。举例：访问a节点和访问b节点都能得到一致的响应结果。可用性(A)：指在访问服务器时能很快得到响应，但不保证数据正确性。
自律给你自由·2024-02-20 06:56

远程过程调用解密：探索RPC协议的深度、挑战与未来方向

RPC抽象了网络通信的细节，使得开发分布式系统更为简便。2.RPC的工作原理RPC的工作原理包括几个关键步骤：接口定义、客户端代理生成、服务端桩（stub）生成、通信、服务执行和返回结果。
程序员Chino的日记·2024-02-20 06:15

主动对象模式(Active Object pattern)

该模式通常用于需要多线程服务器的分布式系统中。此外，客户应用，比如窗口系统和网络浏览器，采用主动对象来简化并发和异步的网络操
weixin_30416497·2024-02-20 06:06

服务端和客户端以及前后端相关概念区分

一、服务端（Server-side）和客户端（Client-side）服务端和客户端是指在分布式系统或网络应用中相对的两个部分。是指在计算机网络中不同角色的两个主要实体。
林隐w·2024-02-20 05:13

以内存为核心的开源分布式存储系统

Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。
这次靠你了·2024-02-20 05:26

从0到1搭建企业分布式系统-07-jenkins搭建

开头jenkins主要用来做持续集成，原理是开发人员将代码提交到git后，点击jenkins构建会通过mvn将代码打包成war包，然后自己写一些脚本，发布到具体的应用，实现开发环境自动化部署搭建1.前提条件：已安装jdk已安装maven2.官方下载war将war部署到tomcat中，启动tomcat3.修改配置文件/var/lib/jenkins/config.xml1、这个权限对应“任何用户可以
Coding626·2024-02-20 04:03

Spring Cloud Hystrix：服务容错与熔断

1.理解服务容错与熔断1.1服务容错的概念和重要性在分布式系统中，由于各种原因（例如网络延迟、服务故障等），服务之间的通信可能会出现故障或者延迟。
星光闪闪k·2024-02-20 02:00

分布式事务详解

分布式系统把一个单体应用拆分为可独立部署的多个服务，因此需要服务与服务之间远程协作才能完成事务操作。
xdpcxq1029·2024-02-19 22:11

一篇文章带你了解分布式系统理论基础 - CAP、BASE

1.CAP理论任何分布式架构设计的系统，只能同时满足CAP中的任意两种，无法同时三种并存。CAP（Consistency、Availability、Partitiontolerance）是三个单词的缩写，分别代表一致性，可用性，分区容错性。这个理论到目前为止都适用于分布式架构系统。1.1Consistency一致性我们知道ACID中事务的一致性是指事务的执行不能破坏数据库数据的完整性和一致性，一个
程序领域·2024-02-19 22:59

浅谈分布式系统中的补偿机制设计问题

我们知道，应用系统在分布式的情况下，在通信时会有着一个显著的问题，即一个业务流程往往需要组合一组服务，且单单一次通信可能会经过DNS服务，网卡、交换机、路由器、负载均衡等设备，而这些服务于设备都不一定是一直稳定的，在数据传输的整个过程中，只要任意一个环节出错，都会导致问题的产生。这样的事情在微服务下就更为明显了，因为业务需要在一致性上的保证。也就是说，如果一个步骤失败了，要么不断重试保证所有的步骤
架构文摘·2024-02-19 22:59

我理解的分布式系统，你需要了解的我都有

前言说到分布式系统，不得不说集中式系统。传统集中式系统中整个项目所有的东西都在一个应用里面。
ZYQZXF·2024-02-19 22:57

面试官：浅谈分布式系统中的补偿机制设计问题？

我们知道，应用系统在分布式的情况下，在通信时会有着一个显著的问题，即一个业务流程往往需要组合一组服务，且单单一次通信可能会经过DNS服务，网卡、交换机、路由器、负载均衡等设备，而这些服务于设备都不一定是一直稳定的，在数据传输的整个过程中，只要任意一个环节出错，都会导致问题的产生。这样的事情在微服务下就更为明显了，因为业务需要在一致性上的保证。也就是说，如果一个步骤失败了，要么不断重试保证所有的步骤
Java精选·2024-02-19 22:57

10分钟带你了解分布式系统的补偿机制

我们知道，应用系统在分布式的情况下，在通信时会有着一个显著的问题，即一个业务流程往往需要组合一组服务，且单单一次通信可能会经过DNS服务，网卡、交换机、路由器、负载均衡等设备，而这些服务于设备都不一定是一直稳定的，在数据传输的整个过程中，只要任意一个环节出错，都会导致问题的产生。这样的事情在微服务下就更为明显了，因为业务需要在一致性上的保证。也就是说，如果一个步骤失败了，要么不断重试保证所有的步骤
咖啡加剁椒·2024-02-19 22:53

分布式学习笔记

1.CAP理论Consistency（一致性）：用户访问分布式系统中的任意节点，得到的数据必须一致。Availability（可用性）：用户访问集群中的任意健康节点，必须得到相应，而不是超时或拒绝。
重生之Java再爱我一次·2024-02-19 20:46

分布式相关概念

分布式原理1.CAP理论CAP理论是分布式系统中的一个基本理论，它由计算机科学家EricBrewer在2000年提出。
重生之Java再爱我一次·2024-02-19 20:15

马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解

分布式计算原则：移动计算，而不是移动数据hadoop默认包含了hdfs、yarn、mapReduce三个组件yarn（YetAnotherResourceNegotiater）是资源调度系统，yarn调配的是内存和
PC_Repair·2024-02-19 20:28

Docker实用篇

分布式系统中，依赖的组件非常多，不同组件之间部署时往往会产生一些冲突。
是程序喵呀·2024-02-19 18:56

如何保证MySQL和Redis的数据一致性？

图片来自Pexels什么是数据的一致性一致性就是数据保持一致，在分布式系统中，可以理解为多个节点中数据的值是一致的。而一致性又可以分为强一致性与弱一致性。
架构师小秘圈·2024-02-19 18:50

第五节 zookeeper集群与分布式锁_2

分布式锁：分布式锁，即分布式系统
做个专注的工程师·2024-02-19 16:01

《分布式系统原理介绍》要点简记

数据备份机制问题:机器宕机导致数据丢失问题解决:无状态节点则无需读取读取任何信息就可以立刻重新“可用”有状态节点可以通过读取本地存储设备中的信息或通过读取其他节点数据的方式恢复内存信息有状态是指是否是保存数据的节点序列号机制问题:消息乱序解决:给消息排号,按照版本号进行消费校验码机制问题:数据错误消息被抓包篡改解决:使用一定的校验码机制可以较为简单的检查出网络数据的错误，从而丢弃错误的数据序列号机
猫哥灬01·2024-02-19 16:52

SpringCloud-搭建Nacos配置中心

在微服务架构中，配置管理是至关重要的一环，Nacos提供了可靠、动态的配置管理功能，为分布式系统的配置中心提供了便捷的解决方案。
Damon小智·2024-02-19 15:45

消息中间件管理系统-RabbitMQ及其两类传输模型

MQ，意思为消息队列，分布式系统中的重要组件，用它就可以实现应用解耦、异步消息、流量削峰等问题。消息队列产品有很多，企业级应用较广泛的就是RabbitMQ。
sunyunfei1994·2024-02-19 14:08

什么是RabbitMQ？

一、引言RabbitMQ是一个开源的消息代理软件，用于在分布式系统中传递消息。
张万森的救赎·2024-02-19 14:35

RabbitMQ：分布式系统中的高效消息队列

摘要RabbitMQ是一款开源、高度可靠、灵活性强的消息队列系统，被广泛应用于分布式系统中。
张万森的救赎·2024-02-19 12:48

现阶段适用于 单一架构 还是 分布式架构 ？

劣势：开发和部署比较复杂，需要考虑分布式系统的一些问题，如分布式
小Mie不吃饭·2024-02-19 12:41

学习篇-Hadoop-YARN-环境搭建

hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html配置：etc/hadoop/mapred-site.xmlmapreduce.framework.nameyarnmapreduc
东东爱编码·2024-02-19 11:08

hadoop-yarn资源分配介绍-以及推荐常用优化参数

如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop2.x的一部分，YARN采用MapReduce中的资源管理功能并对其进行打包，以便新引擎可以使用它们。
Winhole·2024-02-19 11:26

(15)Hive调优——数据倾斜的解决指南

目录前言一、什么是数据倾斜二、发生数据倾斜的表现2.1MapReduce任务2.2Spark任务三、如何定位发生数据倾斜的代码四、发生数据倾斜的原因3.1key分布不均匀3.1.1某些key存在大量相同值
爱吃辣条byte·2024-02-19 11:50

MapReduce

MapReduce定义mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。
诺冰1314·2024-02-19 10:46

golang工程组件篇:高性能RPC框架gRPC之0Auth2认证与拦截器

Golang是一种快速、高效的编程语言，它在云计算和分布式系统中广泛使用。随着软件工程越来越复杂，RPC（远程过程调用）框架成为了重要的组件之一。
SMILY12138·2024-02-19 10:32

EMS5730 MapReduce program

EMS5730Spring2024Homework#0Releasedate:Jan10,2024Duedate:Jan21,2024(Sunday)23:59pm(Note:Thecourseadd-dropperiodendsat5:30pmonJan22.)Nolatehomeworkwillbeaccepted!EveryStudentMUSTincludethefollowingstat
areyousure7·2024-02-19 10:20

Raft协议如何解决分布式系统一致性问题

先要明确的几个概念Raft协议是基于paxosmulti的，属于全新优化精简版本，更加容易实现和理解。zookeeper用的zab协议跟raft基本一样，就是心跳方向是反的，raft是leader向follower发送心跳，zab是follower向leader发送心跳询问leader健康状况。再有一个就是，raft、paxos、zab这些属于强一致性协议，与之相对的还有弱一致性协议，比如DNS的
肥兔子爱豆畜子·2024-02-15 10:56

[AIGC] Kafka 的 Rebalance 机制：保证分区的可靠性和高可用性

在分布式系统中，Kafka是一种流处理平台，具有高吞吐量、低延迟和可扩展性等特点。在Kafka中，消费者组是一组消费者的集合，它们共同消费一个topic的所有分区。
程序员三木·2024-02-15 10:55

Spring

Spring是一款非常优秀而且功能强大的框架，可以简化开发、框架整合一、初识Spring1.Spring能做什么用以开发web、微服务以及分布式系统等，光这三块就已经占了JavaEE开发的九成多。
小白在努力~~·2024-02-15 10:15

Spring Cloud Eureka：服务注册与发现

1.介绍SpringCloudEureka1.1什么是SpringCloudEurekaSpringCloudEureka是SpringCloud生态中的一个服务注册与发现组件，用于构建分布式系统中的服务注册中心
星光闪闪k·2024-02-15 09:41

docker （一）-简介

无论是单个程序还是多个程序组成的复杂服务，或者分布式系统，都可以使用dockerrun或dockercompos
小关暗器·2024-02-15 09:56

排序的区别

sortby(非全局排序)在数据进入reduce前完成排序；当mapreduce.task>1时，只能保证每个reduce的输出有序，不能保证全局有序。
incover·2024-02-15 01:06

探讨java系统中全局唯一ID实现方案

为什么需要全局唯一ID我们这里引用美团Leaf的场景介绍：在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。
程序员大为·2024-02-14 18:49

【读书笔记】《大数据技术体系详解：原理，架构与实践》06.大数据计算引擎篇

批处理引擎MapReduceMapReduce是一个经典的分布式批处理计算引擎，被广泛应用于搜索引擎索引构建、大规模数据处理等场景中，具有易于编程、良好的扩展性与容错性以及高吞吐率等特点。
粥一样温柔·2024-02-14 15:01

java实战：Redis分布式锁实现防止用户重复点击

本文将介绍如何使用Redis分布式锁来防止用户在分布式系统中重复点击。通过一个基于Redis的分布式锁示例，了解如何在Java应用程序中使用Redis分布式锁来解决用户重复点击的问题。
拥抱AI·2024-02-14 12:04

Spring Cloud 路由和消息传递 (消息路由)

SpringCloudBus:一个用于在分布式系统中广播事件的工具。消息路由类型消息路由可以根据不同的标准进行分类，包括：目标类型:消息可以路由到特定的
surfirst·2024-02-14 11:53

基于最终收敛的分布式系统设计讨论2

基于最终收敛的分布式系统设计讨论2问题描述假如我们有一个service，提供了数据访问和修改的API。比如update()来进行数据的修改，get()来进行数据的访问。
书香门第·2024-02-14 07:16

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）

从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）前言几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣
Dimple七·2024-02-14 06:41

高并发系统的设计(1)

简历上写了有大数据、高并发、高可用、分布式系统的架构设计以及研发经验。我把经验写一些。系统的并发量高,怎么办?多上几台服务器,搞个集群!为什么要这么干呢?
Fuly1024·2024-02-14 05:32
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他