分布式计算第11页

微服务 - 说说 CAP 定理、 BASE 理论

之后，CAP理论正式成为分布式计算领域的公认定理。CAP理论为：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）

撸帝·2023-10-14 10:15

分布式UUID的生成

背景最近有个项目：涉及到分布式计算，tps相对较高，流程之间是异步调用，流程间相互依赖的对象(涉及记录外键)需要持久化。

weixin_30707875·2023-10-14 10:44

2023年中国云计算软件市场规模、市场结构及市场份额情况分析[图]

云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。

gyzlsc·2023-10-14 10:35

Hadoop生态圈：Hadoop的发展及其模块架构解析

Hadoop是一个开源的分布式计算框架，由Apache基金会开发，是一种可以运行在商用硬件上并支持超大规模数据集的大数据分析工具。

禅与计算机程序设计艺术·2023-10-14 09:24

Spark 的主要组件及任务分工

Spark是一个开源的分布式计算框架，旨在处理大规模数据集的快速计算和分析。

Young_IT·2023-10-13 14:12

MaxCompute全套攻略

MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

JQW_FY·2023-10-13 13:08

阿里巴巴大数据计算平台MaxCompute全套攻略

MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

chulicheng5417·2023-10-13 13:36

一文理清Apache Spark内存管理脉络

Spark作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解Spark内存管理的基本原理，有助于更好地开发Spark应用程序和进行性能调优。

weixin_34228387·2023-10-12 23:07

【HADOOP面试指南】

HadoopHadoop中常问的就三块第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。

耗子尾汁(⩺_⩹)·2023-10-12 06:03

2020-06-28

我们甚至可以在具有TensorFlow的分布式计算

数据小黑升值记·2023-10-11 10:40

分布式计算引擎理解

也可以说它是：“分布式计算的始祖”。计算流程是：输入分片—>map阶段—>combiner阶段(可选)—>shuffle阶段—>reduce

懒猫gg·2023-10-11 04:18

Spark分布式计算原理(宽窄依赖，DAG，stage划分，shuffle过程，Spark计算引擎原理)

文章目录1、RDD依赖1.1依赖关系1.2窄依赖1.3宽依赖1.4宽依赖对比窄依赖2、DAG3、stage划分3.1为什么要写在本地3.2移动算子而不是移动数据4、SparkShuffle过程5、Spark计算引擎原理1、RDD依赖Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。Lineage：血统、遗传。RDD最重

小财迷，嘻嘻·2023-10-11 04:17

大数据系列（六）之 Spark 分布式计算框架

目录一、Spark是什么？二、为什么要用Spark？三、Spark特点四、基本概念及RDD、checkpoint介绍4.1基本概念4.2Spark核心RDD4.3checkpoint（检查点）五、Spark架构设计及执行流程5.1架构设计5.2执行流程六、Spark运行模式6.1SparkStandalone6.2SparkonYARN6.3SparkonMesos七、Spark核心组件八、小结本

古小龙·2023-10-11 04:46

Spark 分布式计算原理

Spark分布式计算原理SparkShuffle1）在数据之间重新分配数据2）(将父RDD重新定义进入子RDD）每一个分区里面的数据要重新进入新的分区3）每一个shuffle阶段尽量保存在内存里面，如果保存不下到磁盘

weixin_30652897·2023-10-11 04:15

【Spark】（四）spark分布式计算原理

SparkWordCount运行原理一个spark任务可以有多个stage，一个stage可以有多个Task，真正执行任务的就是Task对象在一个stage中一个分区就是一个TaskRDD的依赖关系1、Lieage：血统、遗传RDD最重要的特性之一，保存了RDD的依赖关系RDD实现了基于Lineage的容错机制2、依赖关系：宽依赖：一个父RDD的分区被子RDD的多个分区使用，例如map、flatM

屡傻不改·2023-10-11 04:44

Spark分布式计算框架之SparkStreaming+kafka

1、SparkStreaming的介绍SparkStreaming是流式处理框架，是SparkAPI的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka,Flume,Twitter,ZeroMQ或者TCPsockets，并且可以使用高级功能的复杂算子来处理流数据。2、MR&Storm&Spark&flink的区别MR：针对数据进行处理，没封装高级的算子，自己实现逻辑

embelfe_segge·2023-10-11 04:12

Apache Spark分布式计算原理

SparkWordCount原理为什么需要划分Stage数据本地化移动计算，而不是移动数据保证一个Stage内不会发生数据移动根据是否发生了数据移动判断是否划分了阶段SparkShuffle过程在分区之间重新分配数据父RDD中同一分区中的数据按照算子要求重新进入子RDD的不同分区中中间结果写入磁盘由子RDD拉取数据，而不是由父RDD推送默认情况下，Shuffle不会改变分区数量

GodXuzzZ·2023-10-11 04:12

Spark分布式计算原理

一、SparkWordCount运行原理二、划分Stage数据本地化移动计算，而不是移动数据保证一个Stage内不会发生数据移动三、SparkShuffle过程在分区之间重新分配数据父RDD中同一分区中的数据按照算子要求重新进入RDD的不同分区中中间结果写入磁盘有子RDD拉取数据，而不是由父RDD推送默认情况下，shuffle不会改变分区数量四、RDD的依赖关系Lineage：血统、依赖RDD最重

罗刹海是市式市世视士·2023-10-11 04:09

大数据学习(1)-Hadoop

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博>主哦Hadoop是一个开源的分布式计算平台，用于处理大规模数据集。

viperrrrrrr·2023-10-11 00:29

大数据开发：Hadoop分布式架构简介

Hadoop是Apache软件基金会下的一个开源分布式计算平台，在业内应用非常广泛，可以说是大数据的代名词，也是分布式计算架构的鼻祖。几乎所有主流厂商都围绕Hadoop

加米谷大数据张老师·2023-10-11 00:26

Docker服务更新与发现

服务发现是指在分布式计算环境下，自动发现可用在服务实例，并将其注朋到consult,以便共他服务进行调用配置管理是指通过

彩音271·2023-10-10 20:14

Hadoop 电影评分数据统计分析实验

HadoopHadoop分布式计算基础是什么？

喝着奶茶敲实验·2023-10-10 08:13

Hadoop核心组件

HadoopMapReduce:分布式计算框架一.HDFS1.HDFS概述HDFS是google三大论文之一的GFS的开源实现，是一个高度容错性的系统，适合部

HZHZHZ·2023-10-08 10:16

大数据Hadoop原理：大数据Hadoop技术原理简介

关于Hadoop，大家都知道这是目前市面上主流的大数据都在用的框架，通过分布式存储和分布式计算来解决海量数据处理的问题。目前Hadoop已经更

加米谷大数据张老师·2023-10-08 06:05

Hazelcast系列-基础与原理

项目地址：http://hazelcast.org/Hazelcast使得Java程序员更容易开发分布式计算系统，提供了很多Java接口的分布式实现，如：Map,Queue,Topic,ExecutorService

两人走·2023-10-07 12:54

多播与Hazelcast服务自动发现,如何检测多播是否可用

Hazelcast简介Hazelcast是一个分布式计算和存储平台。本质是用Java实现的分布式缓存组件，同时还自带SQL查询，不仅可以像使用Java集合那样操作，还可以通过SQL来查询。看它和

悟初境·2023-10-07 12:51

《面向模式的软件架构》共5卷，经典！

PatternOrientedSoftwareArchitecture面向模式的软件架构/面向模式的软件体系结构卷1:模式系统卷2:用于并发和网络化对象模式卷3:资源管理模式卷4:分布式计算的模式语言卷

天草二十六_简村人·2023-10-06 16:53

【BCM56880】BCM56880B0KFSBG、BCM56880A0KFSBG高容量StrataXGS®Trident4以太网交换机系列

Trident4具有广泛的功能，可以解决数据中心网络部署和分布式计算应用程序规

Mandy_明佳达电子·2023-10-05 21:43

mongoDB数据库----简介

目录目录一、NoSQL1、关系型数据库遵循ACID规则2、分布式系统3、分布式计算的优点4、分布式计算的缺点5、什么是NoSQL？

是小先生·2023-10-05 14:49

java 分布式计算框架_学Java分布式和高级架构，必懂的两大知识点！

原标题：学Java分布式和高级架构，必懂的两大知识点！第一部分：分布式三步变成：分布式1、将你的整个软件视为一个系统(不管它有多复杂)2、将整个系统分割为一系列的Process(进程)，每个Process完成一定的功能3、将这些Process分散到不同的机器上。分散后，选择若干种(没错一种可能不够)通信协议把他们连接起来端正认识：分布式不等于并行计算分布式系统和并行计算一定可以并行吗？实际上并不一

阿荣田Toronto·2023-10-05 11:38

Java专项进阶篇

2）Java事务设计模式3）Java多线程编程集合4）Java并发编程实践5）Java深度历险6）Java集合排序及Java集合类详解7）自己动手写网络爬虫8）Java消息服务29）Java网络编程与分布式计算

mike陈·2023-10-04 23:07

BigData导论

发展历史2004年，Google三驾马车，分布式文件系统GFS、大数据分布式计算框架MapReduce、NoSQL数据库系统BigTable2006年，DougCutting（lucene的作者）根据论文原理初步实现了类似

Youth_C&B·2023-10-04 14:41

Hadoop介绍——HDFS

•Hadoop简介：hadoop官网–分布式存储系统HDFS（HadoopDistributedFileSystem）POSIX•分布式存储系统•提供了高可靠性、高扩展性和高吞吐率的数据存储服务–分布式计算框架

南宫萧言·2023-10-04 01:15

GeoMesa的安装与Quick Start【HBase】

GeoMesa是一个运行在分布式计算系统上，支持大规模时空矢量数据查询和分析的开源工具。本文介绍GeoMesa安装，以及来自官方的QuickStart教程（基于HBase）。

涛O_O·2023-10-03 14:10

【分布式计算】四、代码迁移 Code Migration

为什么要迁移代码代码迁移的原始形式：进程迁移整个进程从一台机器迁移到另一台机器。这似乎是一项成本高昂且复杂的任务，但如果迁移从重负载机器转移到轻负载机器，则可以提高整体系统性能案例31有一个客户端-服务器系统，其中服务器管理一个巨大的数据库。如果客户端应用程序需要执行涉及大量数据的许多数据库操作，那么最好将客户端应用程序的一部分发送到服务器，并通过网络仅发送结果。否则，网络可能会被从服务器到客

JaxHur·2023-10-03 07:47

Spark思维导图

简介SparkSpark是分布式计算框架Spark可以和多种存储系统结合使用，如Kafka、HBase、Hive、HDFS以及关系型数据库。

亼珏·2023-10-02 14:14

编程随笔-ElasticSearch知识导图(2)：分布式架构

带着图1中的问题我们来探究一下ES集群，ES集群是一个典型的主从结构，从某种意义上来说，符合现今大多数主流分布式存储、分布式计算系统的审美要求。下面我们逐步来了解集群中的这些东东。

weixin_34186950·2023-10-02 13:40

Nosql 介绍

Nosql简介*NoSQL，全名为NotOnlySQL，指的是非关系型的数据库*随着访问量的上升，网站的数据库性能出现了问题，于是nosql被设计出来优点/缺点*优点:*高可扩展性*分布式计算*低成本*

肆惮·2023-10-02 13:27

Hadoop的技术内幕：深入理解Hadoop体系架构

作者：禅与计算机程序设计艺术1.简介Hadoop是目前最流行的开源分布式计算系统之一，其主要特点是高容错性、可扩展性和海量数据处理能力。

禅与计算机程序设计艺术·2023-10-01 17:40

zookeeper第一章：集群搭建

zookeeper第一章：集群搭建文章目录系列文章目录前言一、软件下载二、单机模式三、集群模式四、启动脚本总结前言zookeeper是apache基金会下的一个分布式管理框架，可以用来管理Hadoop，spark等分布式计算框架

超哥--·2023-10-01 16:36

异构操作系统的“融合计算”

这些年，由随着应用场景日益丰富和多样化，计算工作越来越复杂，传统的计算方式（单机计算/分布式计算）已经不能满足，需要一种新的更强大的计算模式来解决这些问题，这是融合计算产生的背景。

LAXCUS分布式操作系统·2023-10-01 15:20

Java RPC调用: 远程过程调用的实现与应用

它通过将本地函数调用转化为远程函数调用来实现分布式计算。在Java中，可以使用一些RPC框架实现远程过程调用，如ApacheThrift和gRPC。

一只会写程序的猫·2023-10-01 11:35

【ROS教程 002】ROS 总体框架

它提供了一些分布式计算的基本工具，以及整个ROS的核心部分的程序编写。（2）universe：全球范围的代码，有不同国家的ROS社区组织开发和维护。

DaveBobo·2023-10-01 05:14

分布式并行计算——数据并行

更新：关于分布式计算在机器学习方面的系统设计，强烈推荐李沐的一篇论文Scalingdistributedmachinelearningwiththeparameterserver，这是他博士期间的一项工作

云中君不见·2023-10-01 04:32

随机算法

概述特点不要求算法对所有可能的输入均正确计算只要求出现错误的可能性小到可以忽略的程度不要求对同一输入，算法每次执行时给出相同的结果很快获得相当可信的结果应用分布式计算、通信、信息检索、计算几何、密码学公开密钥体系

Aniwer·2023-10-01 00:23

分布式计算平台

0：Hadoop1：MapReduce(MR)，最为general和流行的一个分布式计算框架，其开源实现Hadoop已经得到了极为广泛的运用（Facebook,Yahoo!

小小哭包·2023-09-30 21:12

【分布式计算】三、虚拟化 Virtualization

1.什么是虚拟化1.1.非虚拟化我们首先来认识什么是非虚拟化 1.一台机器、一个操作系统、几个应用程序 2.应用程序可能会相互影响。 3.机器利用率较低，正常情况下低于25%。关于X86平台：1.服务器基础设施利用率低（10-18%）2.增加物理基础设施成本（设施、电力、冷却等）。3.增加IT管理成本（配置、部署、更新等）4.一次只运行一个操作系统,效率低1.2.虚拟化所以提出了虚拟化的解决

JaxHur·2023-09-30 21:38

分布式系统CAP理论和Base理论

之后，CAP理论正式成为分布式计算领域的公认定理。CAP理论概述：一个分布式系统最多只能

Eric向前冲·2023-09-30 12:01

超越NumPy和Pandas的Python库

1.DaskDask是一个灵活的并行计算库，可实现大规模数据处理的分布式计算和并行计算。Python已经发展成为数据分析和通用编程中的主流语言。这种增长得益于像NumPy、Pan

python慕遥·2023-09-30 10:18

【分布式计算】副本数据Replicated Data

作用：可靠性、高性能、容错性问题：如何保持一致、如何更新问题：存在读写/写写冲突一个简单的方法就是每个操作都保持顺序，但是因为网络延迟会导致问题Data-centricmodels:consistencymodel?????读取时，客户希望得到最后一次写操作后的结果，但是全局时钟不存在==》矢量时钟对于每个进程来说，只能操作本地副本，副本之间进行同步strictconsistency严格一致性—>

JaxHur·2023-09-30 02:09

推荐频道

分布式计算