分布式计算第22页

流行架构对比

Storm与Spark：谁才是我们的实时处理利器Storm:实时处理领域的Hadoop作为一套专门用于事件流处理的分布式计算框架，Storm的诞生可以追溯到当初由BackType公司开发的项目——这家市场营销情报企业于

rainbowcheng·2023-03-31 07:14

StoneDT开源舆情系统大数据技术栈介绍

我们目前开源的舆情系统分为3个部分，整个系统使用了多种开源技术组件和开源框架，涵盖涉及技术领域广泛，例如：分布式计算、大数据、人工智能、数据中台、数据挖掘、深度学习、java和python的大量实际开发场景案例

思通数科x·2023-03-31 06:53

云原生大数据架构中实时计算维表和结果表的选型实践

一前言传统的大数据技术起源于Google三架马车GFS、MapReduce、Bigtable，以及其衍生的开源分布式文件系统HDFS，分布式计算引擎MapReduce，以及分布式数据库HBase。

阿里云技术·2023-03-31 02:53

又一个百亿规模智能汽车新赛道，谁在「领跑」数据引擎中间件

通过分布式计算机架构，使人工智能

高工智能汽车·2023-03-31 01:50

大数据技术原理与应用笔记第2章大数据处理架构Hadoop

起源Hadoop特点Hadoop应用现状不同版本Hadoop项目结构Hadoop集群的部署和使用集群硬件配置HDFSMapReduceHadoop发展历程Hadoop是apache软件基本会旗下的开源分布式计算平台

梦想是吃不完的格力高·2023-03-30 23:39

大数据技术及应用—Hadoop 基础笔记

是具有可靠性和扩展性的一个开源分布式计算的存

佳钰小甜心·2023-03-30 23:59

大数据技术原理与应用——大数据处理架构 Hadoop

大数据技术原理与应用——大数据处理架构Hadoop1.概述（1）Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构Hadoop

linjiayina·2023-03-30 23:47

DNS服务架构

基本语法是：local.group.site；定义了如何实现一个分布式计算机系统，以便有

KAIVI-Blog·2023-03-30 22:49

(2). GO嵌入式开发之 --- 第一个GO程序

一、简述GO语言背景软件开发的新挑战多核硬件架构超大规模分布式计算集群web模式导致的前所未有的开发规模和更新速度Wiki：https://github.com/golang/go/wiki二、基本程序结构

JalynFong·2023-03-30 21:02

Hadoop核心组件详解—HDFS、YARN、MapReduce

Hadoop是一个开源的分布式计算和存储框架，它的作用非常简单，就是在多计算机集群环境中营造一个统一而稳定的存储和计算环境，并能为其他分布式应用服务提供平台支持，相当于在某种程度上将多台计算机组织成了一台计算机

濛小万·2023-03-30 21:25

Hadoop概述以及HDFS、YARN、MapReduce的架构分析和Hadoop的特点

文章目录Hadoop概述什么是Hadoop：分布式存储框架：HDFS分布式计算框架：MapReduce资源调度和管理平台：YARNHadoop的版本HDFS架构分布式存储介绍HDFS架构分析YARN架构分析

被迫内卷的学习记录·2023-03-30 20:12

HIVE—数据仓库

Hive是基于Hadoop的一个数据仓库工具：1.hive本身不提供数据存储功能，使用HDFS做数据存储；2.hive也不分布式计算框架，hive的核心工作就是把sql语句翻译成MR程序；3.hive也不提供资源调度系统

Hekliu·2023-03-30 16:26

连你女朋友都能看懂的分布式架构原理！

黄金搭档：分布式存储+分布式计算这篇文章聊一个话题：什么是分布式计算系统？一、从一个新闻门户网站案例引入现在很多同学经常会看到一些名词，比如分布式服务框架，分布式系统，分布式存储系统，分布式消息系统。

石杉的架构笔记·2023-03-30 15:56

企业数据存储方式发展趋势：数据仓库-大数据平台-数据湖-湖仓一体

早期系统采用关系型数据库来存放管理数据，随着大数据技术兴起，人们对数据分析的需求愈加强烈，于是可以面向分析、集成大量数据的数据仓库（DW）诞生，虽然可以提供保存大量数据，但存储、计算成本相对较高，不好做分布式计算

嘉得乐·2023-03-30 13:59

分布式理论之CAP&BASE理论

之后，CAP理论正式成为分布式计算领域的公认定理。

但时间也偷换概念·2023-03-30 09:51

flink cdc 使用

flinkcdc使用目前cdc产品非常多，目前我使用canal，flinkcdc（集成debezium）二者对比相对来说flinkcdc更加强大，功能很多但是有很多坑，迭代速度很快，借助flink分布式计算框架

川流不息attitude·2023-03-30 09:22

MES架构

FlexWeaver作为速威公司全新一代MES的技术平台，提供MES所需的全系列平台服务，针对工业大数据提供分布式计算环境、统一数据库引擎、大数据及云计算支撑等等。

weixin_30305735·2023-03-30 06:58

云平台架构知识点总结

中国云计算网定义:云计算是分布式计算(DistributedComputing）、并行计算(ParallelComputing）和网格计算（GridComput

装一袋星辰大海·2023-03-30 05:58

【技术博客】神经网络分布式训练中参数优先传播方法

数据并行训练（Dataparalleltraining）已经广泛地运用在在深度神经网络的分布式计算中，但是，分布式计算带来的性能提升经常受限于参数同步性能的瓶颈。

MomodelAI·2023-03-30 04:37

Hadoop历史版本架构分析

hadoop三大核心hdsf集群（分布式文件系统）yarn集群（数据计算资源调度）mapreduce（分布式计算）1、1.x版本模型文件系统核心模块（主从架构）NameNode集群中的主节点，存储元数据

xiaoxu_xiaoyou·2023-03-29 21:32

Chapter7 Hadoop架构架构演进与生态组件

表达能力有限在Hadoop核心组件中，MapReduce负责计算，虽然它将复杂的分布式计算全部抽象为Map和Re

今晚滿天星·2023-03-29 21:53

传统数据仓库--离线数仓逻辑和架构设计

1.架构图有空再补2.技术简介组件版本简介FLINK1.12.1分布式计算引擎HIVE3.1.2最常用的HQL数仓工具PHOENIX5.0.0HBaseSQL化查询分析工具SPARK3.0.1分布式计算引擎

北有榆树·2023-03-29 20:36

事实表和维度表是怎么造数据_走进数据工程：从批处理到流处理

数据工程师需要掌握分布式计算、开发运营(DevOps)、数据运营和实现机器学习模型。事实上，很多高级数据工程师主要是做软件或数据科学(DS)工作，需要

weixin_39668479·2023-03-29 19:47

从单体到Flink：一文读懂数据架构的演变

作者：张利兵首发于过往记忆大数据（ID：iteblog_hadoop）导读：近年来随着开源社区的发展，越来越多新的技术被开源，例如雅虎的Hadoop分布式计算框架、UC伯克利分校的ApacheSpark

hzbooks·2023-03-29 04:50

《计算机网络原理》第五章局域网技术

5.1局域网概述局域网产生的原因80年代，微型机发展迅速，彼此需要相互通信（近距离），共享资源功能分布：分布式计算、分布式数据库局域网是一种将小区域内的各种通信设备互联在一起的通信网络5.1.1局域网的基本特征局域网的基本特征覆盖范围小高传输速率低误码率采用基带传输为一个单位拥有

三千步·2023-03-28 22:17

分布式计算系统的硬件架构

Hadoop系统分布式存储与并行计算构架图1-14展示了Hadoop系统的分布式存储和并行计算构架。从硬件体系结构上看，Hadoop系统是一个运行于普通的商用服务器集群的分布式存储和并行计算系统。集群中将有一个主控节点用来控制和管理整个集群的正常运行，并协调管理集群中各个从节点完成数据存储和计算任务。每个从节点将同时担任数据存储节点和数据计算节点两种角色，这样设计的目的主要是在大数据环境下实现尽可

weixin_30376323·2023-03-28 21:11

Hadoop框架简述

Hadoop2.0的核心包括分布式文件管理系统（HDFS）、资源管理和调度框架YARN和分布式计算框架MapReduce.HDFS是一个具有高容错性的文件系统，适合部署在廉价的机器上，并且能够提供高吞吐量的数据访问

DontCareOthers·2023-03-28 20:16

hdfs架构原理

1、HDFS是做什么的HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的

a280966503·2023-03-28 18:58

MapReduce编程模型

本篇文章介绍一下MapReduce[1]分布式计算先回顾一下Hadoop架构：Hadoop由HDFS分布式存储、MR分布式计算、Yarn资源调度三部分组成HadoopMRMR是采用一种分而治之[2]的思想设计出来的分布式计算框架

HideOnStream·2023-03-28 04:41

Spark之本地部署，编译打包以及远程提交

集群中各个主机形成一个分布式计算环境，也就是相当于集群是一个配置好的可用的Hadoop或者Spark集群。

bensonrachel·2023-03-27 23:29

ACK One GitOps 最佳实践

作者：庄宇、流生ACKOne是阿里云面向混合云、多集群、分布式计算等场景推出的分布式云容器平台，能够统一管理阿里云上、边缘、部署在客户数据中心以及其他云上的Kubernetes集群，并简化集群管理界面。

阿里云云原生·2023-03-27 10:01

Filecoin你真的不在意波场1.4亿美元收购BitTorrent吗？？！！

据TechCrunch消息，BitTorrent是一家位于分布式计算架构的分销和存储数据的早期推动者（现在是最大的玩家），正以1.40亿美元的现金出售给JustinSun和他的区块链媒体创业公司Tron

币圈豆瓣酱·2023-03-26 21:45

大数据面试-Spark

reduceBykey与groupByKey哪个性能好，为什么rdd怎么分区宽依赖和窄依赖flatmap算子的理解，flat原理，返回类型1.mr和spark区别，怎么理解spark-rdd(1)Mr是文件方式的分布式计算框架

Movle·2023-03-26 21:03

大数据学习——hadoop分布式计算框架MapReduce之词频获取

MapReduce介绍和优缺点MapReduce是Hadoop中面向大数据并行处理的计算模型，框架和平台。其具有1.易于编程（实现接口便可完成程序）2.平滑无缝的可扩展性（可布置在廉价服务器上，并且只要增加机器数量便可提高MapReduce集群的计算性能）3.高容错性（MapReduce框架有多种有效的错误检测和恢复机制）4.高吞吐量（可处理PB级别的数据）的特点。但是，MapReduce也具有以

我不想学习啊·2023-03-26 18:44

大数据系列——Hadoop理论

概述Hadoop是一个开源的分布式计算和存储框架，由Apache基金会开发和维护。

mql007007·2023-03-26 18:42

波场TRX

波场Tron作为是全球首家将分布式计算、社交金融，共享经济引入数字娱乐领域的科技金融公司备受资本瞩目。

欧阳拽白·2023-03-26 14:17

apache nifi使用场景

ApacheNiFi适用范围可靠安全的系统间数据传输分发数据到分析系统dataenrichment转换格式提取和解析分支判断ApacheNiFi不建议的使用方式分布式计算复杂事件处理连接／复杂的窗口计算

胡鹏_242e·2023-03-26 05:03

请简述 CAP 原理

2002年，麻省理工学院的赛斯·吉尔伯特（SethGilbert）和南希·林奇（NancyLynch）发表了布鲁尔猜想的证明，使之成为分布式计算领域公认的一个定理。在一个分布式系统

花生无翼·2023-03-25 04:09

spark shuffle v2

sparkshuffleShuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过

LancerLin_LX·2023-03-25 03:57

分布式系统

目录分布式存储系统分布式计算系统分布式消息队列系统分布式机器学习系统分布式框架分布式数据库分布式存储系统分布式存储系统分为两大类中心化控制架构(HDFS)和完全无中心架构(Ceph)。

骆驼整理说·2023-03-24 19:28

Spark数据倾斜的解决办法

数据倾斜是指在分布式计算中，某些节点上的数据比其他节点上的数据更多或更少，从而导致Spark作业运行缓慢或失败。

大锤爱编程·2023-03-24 07:44

Hadoop入门

主要模块包括:分布式文件系统：HDFS实现将文件分布式存储在很多的服务器上分布式计算框架：MapReduce实现在很多机器上分布式并行计算分布式资源调度框架：YARN实现集群资源管理以及作业的调度HDFS

NealLemon·2023-03-24 01:08

大数据学习的思维原理和方法？值得收藏

Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。

金光闪闪耶·2023-03-23 23:20

Yarn基本介绍（一）

如果把分布式计算和单个计算机对应的话，HDFS就相当于计算机的文件系统，Yarn就是计算机的操作系统，MapReduce就是计算机上的应用程序。

Ant Brother·2023-03-23 17:24

大数据基础之Hadoop和Spark

（1）数据的存储：分布式文件系统（分布式存储）（2）数据的计算：分布式计算第二节：JAVA和大数据是什么关系？

我和程序猿的日常·2023-03-23 13:54

Spark内存管理

前言Spark作为一个基于内存的分布式计算引擎，程序在运行时可能会被集群中的任何资源阻塞：CPU|网络带宽|内存。然而Spark的内存管理模块在整个系统中扮演着非常重要的角色。

MrSocean·2023-03-22 11:42

java大数据之spark

Spark基于mapreduce算法模式实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于HadoopMapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写

这一刻_776b·2023-03-22 02:17

浅谈区块链的分布式系统和共识机制

区块链（Blockchain）是比特币的一个重要概念，它本身是一种新型的分布式系统，并且极大的促进了分布式计算领域的发展。

FusionBlock·2023-03-21 03:45

区块链商业价值和机会的本质

一、区块链是什么区块链（block-chain）利用现今强大的分布式计算、存储技术和加密技术，建设对等的分布式账本，从而为运行在区块链之上的交易和应用提供信任、责任和透明的核心基础设施。

朱海林_HL·2023-03-20 20:32

Hadoop分布式计算架构流程分析-Hadoop商业环境实战

1.Hadoop分布式计算架构流程分析1）在MapReduce程序读取文件的输入目录上存放相应的文件。2）客户端程序在submit()方法执行前，获取待处理的数据信息，然后根据集群中参数的配置形成一

开心技术社区·2023-03-20 03:29

推荐频道

分布式计算