IT->分布式计算

大数据之MapReduce框架简介

文章目录前言一、什么是分布式计算二、MapReduce简介（一）介绍（二）特点（三）局限性三、MapReduce编程（一）MapReduce架构体系（二）MapReduce工作执行流程总结前言#博学谷IT
敲键盘的杰克·2023-04-15 15:16

【MR原理-1】MapReduce整体架构及工作机制

导读：1.HDFS架构2.MapReduce架构3.MapReduce作业的生命周期  Hadoop的核心两个组件分别是分布式文件系统和分布式计算框架MapReduce。
王小康walker·2023-04-15 15:44

hadoop-mapreduce基本架构

MapReduce是一个分布式计算框架，主要由两部分组成：编程模型和运行时环境。
souy_c·2023-04-15 15:11

MapReduce的架构及原理

MapReduce是一种分布式计算模型，是Hadoop的主要组成之一，承担大批量数据的计算功能。MapReduce分为两个阶段：Map和Reduce。
dh026661·2023-04-15 15:11

大数据技术系列文章目录

、Zookeeper实操HadoopHadoop系列之-1、大数据介绍Hadoop系列之-2、HDFS分布式文件系统Hadoop系列之-3、HDFS高阶+实操Hadoop系列之-4、MapReduce分布式计算
技术武器库·2023-04-15 15:51

大数据开发必备面试题Spark篇01

MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；Spark是基于内存的分布式计算架构
技术人小柒·2023-04-15 13:16

大数据开发必备面试题Spark篇合集

MapReduce计算架构，只有map和reduce两种操作，表达能力比较欠缺，而且在MR过程中会重复的读写hdfs，造成大量的磁盘io读写操作，所以适合高时延环境下批处理计算的应用；Spark是基于内存的分布式计算架构
技术人小柒·2023-04-15 13:44

学习HCIA网络安全第一次笔记

HCIA--华为认证的初级网络工程师HCIP--华为认证的高级网络工程师HCIE--华为认证的专家网络工程师基础课实验作业：实验报告（用文档形式）每日一讲（每人都需要）云技术---云计算---分布式计算云存储
悸动心事·2023-04-15 12:28

Java 白皮书 —— A White Paper

Java白皮书参考资源Java白皮书目录1、Java介绍1.1设计初衷1.2设计目标1.3Java平台——分布式计算的新方法2、简单性和熟悉的3、面向对象3.1Java中的对象技术3.2什么是对象？
lywStuding·2023-04-15 03:22

初识Netty

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用
红丶·2023-04-14 19:05

CDH6.3.2安装文档

CDH通过WEB界面管理，并提供了hadoop的两个核心功能：可扩展存储和分布式计算，以及企业级的重要功能。
尘世壹俗人·2023-04-14 17:20

HCIA第一天

HCIA---华为认证的初级网络工程师HCIP---华为认证的高级网络工程师HCIE--华为认证的ICT专家计算机网络基本结构图：云技术---云计算---分布式计算（一台计算机完不成的由多台计算机分步完成
木玄玑·2023-04-14 17:40

分析型数据库：MPP 数据库的概念、技术架构与未来发展方向

由于数据分析一般涉及的数据量大，计算复杂，分析型数据库一般都是采用大规模并行计算或者分布式计算来提升它的数据处理能力。
星环科技·2023-04-14 12:31

分布式计算技术（上）：经典计算框架MapReduce、Spark 解析

当一个计算任务过于复杂不能被一台服务器独立完成的时候，我们就需要分布式计算。
星环科技·2023-04-14 12:01

分布式计算技术（下）：Impala、Apache Flink、星环Slipstream

实时计算的发展历史只有十几年，它与基于数据库的计算模型有本质区别，实时计算是固定的计算任务加上流动的数据，而数据库大多是固定的数据和流动的计算任务，因此实时计算平台对数据抽象、延时性、容错性、数据语义等的要求与数据库明显不同，面向实时计算的数据架构也就发展起来。本篇我们介绍面向交互式分析的计算引擎Impala、实时计算引擎ApacheFlink和星环实时计算引擎Slipstream。—面向交互式分
星环科技·2023-04-14 12:01

分析型数据库：分布式分析型数据库

分布式分析型数据库的存储层一般采用分布式存储或云存储，而计算引擎层采用独立的分布式计算引擎，
星环科技·2023-04-14 12:24

【HDFS】HDFS学习笔记

读写过程HDFS优缺点HDFS常用配置HDFS常用命令一、HDFS是什么1.HADOOP1.0中有两个模块：Hadoop分布式文件系统HDFS(HadoopDistrbutedFileSystem)、分布式计算框架
Jessie_hhhhhzy·2023-04-14 07:24

分布式系统CAP理论解析

1、CAP简介CAP理论是计算机科学家EricBrewer在2000年提出的理论猜想，在2002年被证明并成为分布式计算领域公认的定理，其理论的基本观念是，在分布式系统中不可能同时满足以下三个特性：C：
solihawk·2023-04-14 02:29

CAP定理和BASE理论

2000年的时候，EricBrewer教授提出了CAP猜想，2年后，被SethGilbert和NancyLynch从理论上证明了猜想的可能性，从此，CAP理论正式在学术上成为了分布式计算领域的公认定理。
mango_love·2023-04-14 02:54

云架构技术栈

云计算是网格计算，分布式计算，并行计算、效用技术、网络存储、虚拟化和负载均衡等传统计算机和网络技术发展融合的产物。
恒企自考频道·2023-04-13 21:09

并行计算与分布式计算区别与联系

参考转载http://blog.csdn.net/wm_1991/article/details/50257269https://blog.csdn.net/BtB5e6Nsu1g511Eg5XEg/article/details/82976864并行计算（ParallelComputing）并行计算或称平行计算是相对于串行计算来说的。并行计算（ParallelComputing）是指同时使用多种
wqq奋斗的小鸟·2023-04-13 18:35

并行计算、分布式计算、集群概念及区别（初学者待更新）

分布式计算分布式计算主要研究分散系统如何进行计算。分布式结构就是将一个完整的系统，按照业务
千里足行~始于足下·2023-04-13 18:34

并行分布式计算 并行机系统互联网络

文章目录并行分布式计算并行机系统互联网络系统互连分类网络性能指标静态互联网络一维线性阵列1-DLinearArray二维网孔/2-D网孔2-DMesh二叉树超立方总结动态互联网络总线Bus交叉开关Crossbar
Air浩瀚·2023-04-13 18:59

并行分布式计算 并行计算机体系结构

文章目录并行分布式计算并行计算机体系结构并行计算机结构模型SIMD单指令多数据流PVP并行向量处理机SMP对称多处理机MPP大规模并行处理机DSM分布式共享存储多处理机COW工作站集群总结并行计算机访存模型
Air浩瀚·2023-04-13 18:29

并行分布式计算 并行算法与并行计算模型

文章目录并行分布式计算并行算法与并行计算模型基础知识定义与描述复杂性度量同步和通讯并行计算模型PRAM模型异步PRAM模型（APRAM）BSP模型LogP模型层次存储模型分层并行计算模型并行分布式计算并行算法与并行计算模型基础知识定义与描述并行计算模型类型
Air浩瀚·2023-04-13 18:55

elasticsearch 认知

为了解决海量数据存储和分布式计算问题，GoogleTab提出了Map/Reduce和GoogleFileSystem(GFS)解决方案，Hadoop作为其中一个优秀的实现框架迅速得到
张同学tty·2023-04-13 14:27

Yandex 正式开源大数据存储和处理平台 YTsaurus

Yandex分布式计算的负责人MaximBabenko表示：Yandex自2010年以来一直在开发YTsaurus（在内部称之为YT）。因为市场上没
分享IT资源·2023-04-13 13:44

【老生谈算法】matlab实现蚁群算法求解TSP——蚁群算法

）本项目原文【老生谈算法】简单蚁群算法求解TSP的源程序-matlab.doc2、算法详解：蚁群算法是新兴的仿生算法，最初是由意大利学者DorigoM于1991年首次提出，由于具有较强的鲁棒性，优良的分布式计算机制和易于与其它方法结合等优点
阿里matlab建模师·2023-04-13 13:29

10分钟读懂进程线程、同步异步、阻塞非阻塞、并发并行

进程之间是相对独立的，一个进程无法访问另一个进程的数据（除非利用分布式计算方式），一个进程运行的失败也不会影响其他进程的运行，Wi
无法确定的小世界_2156·2023-04-13 11:48

ZooKeeper集群与部署实验文档

一、Zookeeper概述ZooKeeper是Apache软件基金会的一个软件项目，它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。ZooKeeper的架构通过冗余服务实现高可用性。
过凌丁阳·2023-04-12 23:06

论币圈中的不可能三角

原创作者：千里眼社区——一灯师兄在理论计算机科学中有一个著名的CAP定理，它指出对于分布式计算机系统来说，它不可能同时完成一致性（Consistency）、可用性（Availability）、和分区容错性
千里眼链讯·2023-04-12 14:40

HCIA第一天

HCIA---华为认证的初级网络工程师HCIP---华为认证的高级网络工程师HCIE--华为认证的专业网络工程师云技术---云计算---分布式计算云存储---百度网盘(服务器）计算机技术抽象语言---电信号抽象语言
北川Cc丶·2023-04-12 12:41

大数据需要哪些技术？

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、
大数据学习01·2023-04-12 09:00

大数据Hadoop|MapRedece|Yarn

国内外应用Hadoop发行版本Hadoop集群整体概述HDFS分布式文件系统传统常见的文件系统数据和元数据HDFS核心属性HDFS简介HDFSshell操作MapReduce分而治之理解MapReduce思想分布式计算概念
北山啦·2023-04-12 09:09

大型网站技术架构 读书笔记 (二) 大型网站架构模式

1.3分布式分布式应用和服务分布式静态资源分布式数据和存储分布式计算1.4集群使用分布式虽然已经将分层和分割后的模块独立部署，但是对于用户访问集中的模块（比如网站的首页），
雪孤城·2023-04-12 02:20

从零开始认识 Spark

seesee先吧把这句话翻译一下spark是在Hadoop基础上的改进，是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapReduce算法实现的分布式计算
即将秃头的Java程序员·2023-04-11 20:16

.NET框架描述，框架体系结构

WCF：将多个技术统一到单个面向服务的编程模型，实现真正的分布式计算。WF:一个广泛通用的工作流框架，例：网上
gezellig920·2023-04-11 18:52

MapReduce

数据处理时效性没有在线那么强，但是相对也需要很快得到结果mapreduce不会马上得到结果,他会有一定的延时如果数据量小,使用mapreduce反而不合适原始数据-->map(Key,Value)-->Reduce分布式计算将大的
So Youth·2023-04-11 15:42

分布式概念及相关的名词定义

该领域需要解决的问题极多，在不同的技术层面上，又包括：分布式缓存、分布式数据库、分布式计算、分布式文件系统等，一些技术如MQ、Redis、zookeeper等都
code tea·2023-04-11 05:13

分布式系统架构理论与组件

分布式计算将任务分解成更小的部分，分配给多台计算机处理，这样可以节约整体计算时间，大大提高计算效率。互联网大型网站往往面临高并发访问、海量数据处理等问题，必须保证系统高可用、易伸缩等等。
JavaShark·2023-04-10 21:45

EdgerOS之深入解析高效可靠的轻量级服务VSOA

SOA(ServiceOrientedArchitecture)，即面向服务的架构，是一种分布式计算的软件设计方法，软件的部分组件（调用者），可以通过网络上的通用协议调用另一个应用软件组件执行、运作，让调用者获得服务
╰つ栺尖篴夢ゞ·2023-04-10 14:42

重新定义分析 - EventBridge 实时事件分析平台发布

对于日志分析大家可能并不陌生，在分布式计算、大数据处理和Spark等开源分析框架的支持下，每天可以对潜在的数百万日志进行分析。
微服务 spring cloud·2023-04-10 03:11

TensorFlow基础学习

此外TensorFlow还支持分布式计算，可以在合理的时间内在数百台服务器上进行分割计算，在大训练集上训练巨大的神经网络。特点：高度的灵活性；真正的可移植性；多语言支持；丰富
一天的大太阳·2023-04-09 20:44

用四则运算解析微服务

Springcloud架构解决四则运算加、减、乘、除是最简单的四则运算，也是可以作为分布式计算的最简单的示例，因为涉及到这些运算的算术包括添加“（）”后的复杂算术最后都可以拆解成独立的加法、减法、乘法、
李征兵·2023-04-09 19:04

Mapreduce：概述 + 实例：WordCount + yarn

1.MapReduce的工作原理在分布式计算中，MapReduce框架负责处理了并行编程里分布式存储、工作调度，负载均衡、容错处理以及网络通信等复杂问题，现在我们把处理过程高度抽象
xjfy.h·2023-04-09 05:15

HCIA的基础知识（1）

一、云技术1云存储——百度网盘2云计算——分布式计算3Dos——拒绝服务计算——DDos——分布式拒绝服务攻击二、计算机技术抽象语言——电信号（计算机使用原理）抽象语言——编码应用层编码——二进制表示层二进制
随易的～Sr·2023-04-08 23:23

The prevailing distributed computing model of the current era is called client/servar computing.(现在主

(现在主流的分布式计算是客户/服务器计算模式)A（71）isasolutioninwhichthepresentation,presentationlogic,applicationlogic,datamanipulationand
mischen520·2023-04-08 19:01

大数据-学习实践-2Hadoop

2Hadoop1知识点2具体内容2.1Hadoop介绍2.2两种安装方式2.2.1伪分布集群安装部署2.2.2分布式集群安装2.2.3客户端节点3待补充4Q&A5code6参考1知识点Hadoop介绍分布式存储+分布式计算
yxyibb·2023-04-08 19:48

大数据-学习实践-4MapReduce

大数据-学习实践-4MapReduce(大数据系列)文章目录大数据-学习实践-4MapReduce1知识点2具体内容2.1MapReduce介绍2.2分布式计算介绍、原理2.2.1MapReduce原理剖析
yxyibb·2023-04-08 19:48

云计算介绍

云计算介绍概述云分类服务模式应用起源传统IT技术存在的问题云计算的产生云计算的发展趋势主要特点关键技术关键技术一览表虚拟化桌面显示协议用户个性化配置海量数据并行计算云安全相关技术相关技术一览表分布式计算网格计算效用计算概述云计算
Tui_GuiGe·2023-04-08 18:44
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他