分布式计算第23页

Ignite的使用场景

这里我们只关注缓存，Ignite的设计中引入了很多的计算平台的能力，例如分布式计算和消息之类，在讨论其他框架时不做比较。

goxplanet·2023-03-19 01:21

浅谈Hadoop

Hadoop生态系统是指以大数据分布式存储(HDFS)，分布式计算(MapReduce)和资源调度(YARN)为基础联合其他各种组件在内的一整套软件。Hadoop生态

夜丨雨·2023-03-18 21:10

漫谈分布式架构

集中式和分布式计算机系统规模越来越大，将所有业务单元集中部署在一台机器上处理，这样做非常简单但也存在很多问题可能带来系统大而复杂、难于维护、发生单点故障、扩展性差等问题，而分布式的出现大大减轻了集中式的负担

Ryan_D·2023-03-18 20:22

Hadoop3.x集群安装教程

一、Hadoop3.x介绍Hadoop是用Java语言实现的，允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理的框架。

文景大大·2023-03-18 10:11

大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）

一、Hadoop概述Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（HadoopDistributedFileSystem）、MapReduce（Hadoop2.0加入了YARN

大数据老司机·2023-03-17 20:38

spark-shuffle原理&调优

spark-shuffleShuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过

LancerLin_LX·2023-03-16 21:25

【开源项目】任务调度框架PowerJob介绍及源码解析

项目介绍PowerJob（原OhMyScheduler）是全新一代分布式调度与计算框架，能让您轻松完成作业的调度与繁杂任务的分布式计算。

秋装什么·2023-03-15 20:37

DO VIS·2023-03-15 14:02

超融合一体流式引擎，打造分布式数据库新纪元

同时，云计算、分布式计算能力的兴起，可以从技术底层支撑多业务架构。在此背景下，多引擎数据库的融合

亚信安慧AntDB数据库·2023-03-15 02:13

Netty学习分享

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开

Mahon·2023-03-14 22:02

分布式计算、云计算与大数据第十章

存储基本知识DAS分析直接连接存储：存储设备是通过电缆（通常是SCSI接口电缆）直接连到服务器的。I/O请求直接发送到存储设备优势：连接简单集成在服务器内部；点到点的连接；距离短；安装技术要求不高低成本需求SCSI总线成本低较好的性能通用的解决方案DAS的投资低，绝大多数应用可以接受劣势：有限的扩展性SCSI总线的距离最大25米；最多15个设备专属的连接空间资源无法与其他服务器共享备份和数据保

A - ??·2023-03-14 22:21

Chatgpt

它可以用于分布式计算、文件系统、网络拓扑和机器学习。

菩提本无树007·2023-03-14 12:15

【HBase】HBase 协处理器

[TOC]一、协处理器的产生HBase和MapReduce有很高的集成，可以使用MR对存储在HBase中的数据进行分布式计算，但是：有些情况，例如简单的加法计算或者聚合操作（求和、计数等），如果能够将这些计算推送到

w1992wishes·2023-03-13 11:30

Docker之docker-compose一键部署Zookeeper集群

2.2.1docker-compose.yml2.2.2zoo.cfg3.运行3.1启动容器3.2查看运行状况3.3校验服务可用性1.概述ZooKeeper是Apache软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务

林凡尘coding·2023-03-13 11:34

SparkCore核心知识

一、Spark作业调度方式1、local测试或实验性质的本地运行模式local[N]是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。

ta落叶知秋·2023-03-12 13:41

13W字，腾讯高工手写“Netty速成手册”，3天能走向实战

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开源组件也基于Netty构建，比如RPC框架、zookeeper等。

啊码·2023-03-11 11:02

基于VUE+Node实现MapReduce的分布式计算系统毕业论文+任务书+开题报告+答辩PPT+项目源码

摘要以2003年，Google发表的三篇论文为标志的大数据时代，至今已过去近二十年时间，MapReduce那篇论文虽然只有理论，并为公开底层软件实现。但这么多年过去，Hadoop，Spark等框架早已实现论文中所描述的功能，甚至还有所改进。本文以MapReduce为基础，实现了一套基于浏览器实现的分布式系统。加之如今Chrome对各个平台近乎完美的兼容性，实现了一次编写，处处运行的目标。同时得力于

毕业设计论文资料·2023-03-11 01:35

CAP理论

CAP理论是分布式计算系统的一个基本定理。

是什么样的心情·2023-03-10 18:00

MySQL集群Cluster详解（一）——基本原理

一、MySQL集群Cluster原理MySQLCluster是MySQL集群的一种常用技术，适合于分布式计算环境下高冗余高实用版本。

永远是少年啊·2023-03-10 13:44

Apache Spark 统一内存管理模型详解（转）

我们都知道Spark能够有效的利用内存并进行分布式计算，其内存管理模块在整个系统中扮演着非常重要的角色。为

愤怒的谜团·2023-03-10 12:57

hadoop安装与配置

一、Hadoop核心组件1.分布式文件存储系统HDFS(HadoopDistributedFileSystem)2.资源管理系统YARN(YetAnotherResourceNegotiator)3.分布式计算框架

木杉_君·2023-03-10 10:49

Spark Shufflewrite分析

分布式计算的shuffle操作通常是分布式应用计算性能的瓶颈点，因此一个好的shuffle实现（shufflewrite和shuffleread）对于分布式计算引擎的性能起着至关重要的作用。

WestC·2023-03-09 17:18

Hadoop基础【HDFS、Yarn、MapReduce框架概述、框架的搭建】

GFS（分布式存储）--->HDFS；Map-Reduce（分布式计算框架）--->MR；BigTable（分布式数

OneTenTwo76·2023-03-09 07:10

【历史上的今天】3 月 3 日：AT&T 成立；全球最大分布式计算项目正式停止；家酿俱乐部首次会议

整理|王启隆透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。今天是2023年3月3日，在176年前的今天，1847年3月3日，电话的发明人亚历山大·格拉汉姆·贝尔（AlexanderGrahamBell）出生。贝尔发明了世界上第一台可用的电话机，创建了贝尔电话公司，被世界誉为“电话之父”。为了纪念贝尔的功绩，后世将电学和声学中计量功率或功率密度比值的一种单位命名为“贝尔”。回顾计算机历史

历史上的今天·2023-03-08 21:29

RPC介绍与原理

简单地说就是能使应用像调用本地方法一样的调用远程的过程或服务，可以应用在分布式服务、分布式计算、远程服务调用等许多场景。

我咋这么优秀呢·2023-02-28 09:42

五分钟让你了解RPC原理详解

RPC功能目标RPC的主要功能目标是让构建分布式计算（应用）更容易，在提供强大的远程调用能力时不损失本地调用的语义简洁性。

风平浪静如码·2023-02-28 09:11

RPC的底层原理

RPC的主要功能目标是让构建分布式计算（应用）更容易，在提供强大的远程调用能力时不损失本地调用的语义简洁性。为实现该目标，RPC框架需提供一种透明调用机制，让使用者不必显式地区分本

程序猿不脱发2·2023-02-28 09:08

RPC框架原理与实现

简单地说就是能使应用像调用本地方法一样的调用远程的过程或服务，可以应用在分布式服务、分布式计算、远程服务调用等许多场景。

外星喵·2023-02-28 09:38

计算机网络的基本组成

光纤等）和协议（如TCP/IP、HTTP、FTP等）互相连接组成的复杂系统，它们能够在物理层、数据链路层、网络层、传输层和应用层等不同层次上进行数据的传输、交换和共享，从而实现远程通信、信息资源共享、分布式计算

牧鸯人·2023-02-27 18:02

Spark简介：Spark数据处理核心架构

根据Spark官方的定义，Spark是一个快速的、通用的分布式计算系统。简简单单一句话，其实对于Spark以及做出了相当精炼的总结，一个是快，一个是通用。快速，是指Spark在大数据计算当

加米谷大数据张老师·2023-02-26 07:18

图解Spark源码（一）--- Spark 通信架构

Spark是一个分布式计算系统，因此节点间存在很多通信，那么Spark就会借助这些通讯框架进行RPC通信。Sp

快跑小乌龟·2023-02-26 07:17

Apache Flink漏洞复现(未授权访问&上传jar包getshell)

ApacheFlink漏洞复现(未授权访问&上传jar包getshell)一、Flink简介Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。

Grace￥￥￥·2023-02-25 07:18

颠覆性的开源分布式数据库

DawnSql是一个基于apacheignite支持水平扩展和容错的分布式计算平台，可以在TB级数据上以内存级的速度构建实时应用。DawnSql不仅支持完整的SQL,NoSql。

·2023-02-25 03:50

2023年云计算领域五大趋势

云计算是分布式计算的一种，指通过网络“云”将巨大的数据计算处理程序分解成无数小程序，然后通过多部服务器组成的系统处理和分析这些小程序，得到结果并返回给用户。

bdqn_zyjy·2023-02-24 17:21

大数据技术原理与应用介绍

HadoopHadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。Hadoop是基于

CODER8R·2023-02-24 03:04

RAY - 小记

RAYRayisaunifiedframeworkforscalingAIandPythonapplications.Rayconsistsofacoredistributedruntimeandatoolkitoflibraries(RayAIR)foracceleratingMLworkloads.RAY是一个简单、通用的分布式计算框架

伊织code·2023-02-19 07:42

python：uuid模块使用与源码解读

简介：通用唯一识别码（英语：UniversallyUniqueIdentifier，简称UUID）是一种软件建构的标准，亦为开放软件基金会组织在分布式计算环境领域的一部分。

玩转测试开发·2023-02-18 21:57

CAP & BASE理论

CAP&BASE理论CAP理论CAP理论/定理openinnewwindow起源于2000年，由加州大学伯克利分校的EricBrewer教授在分布式计算原理研讨会（PODC）上提出，因此CAP定理又被称作布鲁尔定理

飘然渡沧海·2023-02-18 21:58

base cap 分布式_10分钟了解分布式CAP、BASE理论

CAP理论2000年7月，EricBrewer教授提出CAP猜想；2年后，SethGilbert和NancyLynch从理论上证明了CAP；之后，CAP理论正式成为分布式计算领域的公认定理。

weixin_39764494·2023-02-18 21:44

分布式 CAP、BASE理论

CPACAP理论是分布式计算领域的公认定理CAP定律说的是在一个分布式计算机系统中，一致性，可用性和分区容错性这三种保证无法同时得到满足，最多满足两个。

WhatheKobe·2023-02-18 21:02

分布式系统中的CAP理论和BASE理论详解

一.CAP理论CAP理论/定理openinnewwindow起源于2000年，由加州大学伯克利分校的EricBrewer教授在分布式计算原理研讨会（PODC）上提出，因此CAP定理又被称作布鲁尔定理（Brewer

@Sup·2023-02-18 21:59

HDFS架构和原理

HDFS是做什么的HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上

timothyue1·2023-02-18 03:18

拜占庭将军问题和 Raft 共识算法讲解

在分布式计算中，不同的计算机

·2023-02-17 11:48

网新协作关键词二

3.众包的关键原理是分布式计算。

Mystere·2023-02-07 09:11

HTTP学习

分布式计算的第一准则——不要分布你的对象减少访问远程服务所花费的时间，比如可以通过更粗粒度地划分接口。远程还是本地是明确的设计决策，不能随意来回更动，这一点应当牢记。

码农田伟·2023-02-07 08:26

人工智能学习

人工智能算法可以分为机器学习算法（MachineLearning）和深度学习算法（DeepLearning）Piflow（一）概念是一个基于分布式计算框架Spark开发的大数据流水线系统。

大森森_·2023-02-07 06:48

为了操作系统的时间线

这学期给自己挖了个坑：由于觉得应该帮助学生了解分布式计算（现在的大数据是分布式计算在当下的典型代表），就在负责的操作系统中允诺梳理下所谓的DOS（DistributedOperatingSystem）的内容

喜欢苹果的梨·2023-02-06 21:25

关于区块链密码学

而现代密码学不只关注信息保密问题，还同时涉及信息完整性验证（消息验证码）、信息发布的不可抵赖性（数字签名）、以及在分布式计算中产生的

区块链阿特拉斯·2023-02-05 22:46

你只会用 xxl-job？一款更强大、新一代分布式任务调度框架来了，太强大了！

概述PowerJob是新一代分布式任务调度与计算框架，支持CRON、API、固定频率、固定延迟等调度策略，提供工作流来编排任务解决依赖关系，能让您轻松完成作业的调度与繁杂任务的分布式计算。

·2023-02-05 18:59

推荐频道

分布式计算

推荐系统-重排序-CTR-GBDT+LR