IT->分布式计算

Yarn

MapReduceMapReduce的架构MapReduce是一个用于大规模数据处理的分布式计算模型MapReduce模型主要有Mapper和Reducer两个抽象类.Mapper端主要负责对数据的分析处理
海边的贝壳林·2023-12-19 22:21

风口来临！ Arex算力资源平台利用“边缘算力”制霸物联网2.0时代！

首先我们介绍一下什么是边缘计算：边缘计算是分布式计算技术的一种，分布式系统的崛起催生边缘计算平台和新的网络构架分布式AI会在最后一英里网络中增加更多的计算、智能和处理/存储能力，将引发移动端硬件和算力变革
在路上VIP666·2023-12-19 21:03

超级计算机技术：现状、挑战与未来

从早期的单处理器到现在的多处理器系统，再到分布式计算和云计算，超级计算机的硬件架构
a谷雨c·2023-12-19 19:49

基于Apache SeaTunnel构建CDC数据同步管道

随着技术的进步，特别是在分布式计算和大数据技术的背景下，构建一个高效且可靠的数据同步管道成为了挑战。
DolphinScheduler社区·2023-12-19 13:30

基于Apache SeaTunnel构建CDC数据同步管道

随着技术的进步，特别是在分布式计算和大数据技术的背景下，构建一个高效且可靠的数据同步管道成为了挑战。
DolphinScheduler社区·2023-12-19 13:30

基于Apache SeaTunnel构建CDC数据同步管道

随着技术的进步，特别是在分布式计算和大数据技术的背景下，构建一个高效且可靠的数据同步管道成为了挑战。
DolphinScheduler社区·2023-12-19 13:29

亚信安慧AntDB 数据库：超融合数据库引领实时计算新时代

在这种背景下，云计算和分布式计算能力崛起，成为技术底层支撑多业务架构的关键。在此
亚信安慧AntDB数据库·2023-12-19 11:48

大数据学习笔记-MapReduce（一） 入门基础理论

拆分求解合并拆分求解合并原问题子问题子问题的解结果子问题子问题的解模拟实现分布式计算：分布式计算和集中式计算相对，有些应用需要非常巨大的算力才能完成，如果采用集中式计算，需要耗费比较长的时间，分布式计算应该将该应用分解成许多小的部分
天码村·2023-12-19 10:36

MapReduce＆YARN学习入门

目录一、MapReduce概述1.分布式计算框架-MapReduce2.MapReduce执行原理3.MapReduce的运行机制二、YARN概述1.资源调度2.YARN的资源调度3.MapReduce
Exclusive_Sea·2023-12-19 10:05

3.1 Hadoop MapReduce与Hadoop YARN -Hadoop MapReduce

HadoopMapReduce（计算）一、理解MapReduce思想二、HadoopMapReduce设计构思（1）如何对付大数据处理场景（2）构建抽象编程模型（3）统一架构、隐藏底层细节三、HadoopMapReduce介绍分布式计算概念
周纠纠·2023-12-19 10:04

ROS-分布式通信

ROS是一个分布式计算环境。==一个运行中的ROS系统可以包含分布在多台计算机上多个节点。==根据系统的配置方式，任何节点可能随时需要与任何其他节点进行通信。
彐雨·2023-12-19 06:21

node.js分布式 mysql集群 Nginx均衡负载 Cluster模块多线程与从0到 linux 部署服务器

一、什么是分布式计算所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果
大福ya·2023-12-19 00:03

spark介绍及简单使用

使用场景：批处理：Spark支持大规模的批处理任务，通过弹性的分布式计算能力，能够处理海量数据。交互式查询：Spa
necessary653·2023-12-18 13:08

大数据分析技术与实战之Spark Streaming

Spark是基于内存的大数据综合处理引擎，具有优秀的作业调度机制和快速的分布式计算能力，使其能够更加高效地进行迭代计算，因此Spark能够在一定程度上实现大数据的流式处理。
丨程序之道丨·2023-12-18 11:30

2018-06-14

Hadoop的狭义和褒义认识：狭义：软件(HDFS、MapReduce、Yarn)褒义：以Hadoop为主的生态圈3.Hadoop版本Hadoop1.x：HDFS：分布式文件系统，存储MapReduce：分布式计算
hoose·2023-12-17 09:26

Flink 简介

Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的发展着。在国外一些社区，有很多人将大数
lz_matlab·2023-12-17 09:09

Hadoop，Hive和Spark大数据框架的联系和区别

1Hadoophadoop是一个分布式计算框架，是大数据处理的基石，大多其他框架都是以hadoop为基础。
Weiyaner·2023-12-17 06:00

浅谈MapReduce

MapReduce是一个抽象的分布式计算模型，主要对键值对进行运算处理。用户需要提供两个自定义函数：map：用于接受输入，并生成中间键值对。
garagong·2023-12-17 00:22

MapReduce

用户只需实现map()和reduce()两个函数，即可实现分布式计算。在Map阶段，接受输入数据并将其分解成一系列的键值对。这些键值对会被传送到对应的Reduce任务中进行处理。
编织幻境的妖·2023-12-16 20:21

云计算、边缘计算、雾计算

目录云计算边缘计算雾计算云计算云计算是基于互联网的计算模式，允许用户通过网络获取计算资源、存储资源、数据库等服务，无需了解和管理底层云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序
C000kie·2023-12-16 17:16

gRPC 一种现代、开源、高性能的远程过程调用 （RPC） 可以在任何地方运行的框架

它也适用于最后一英里分布式计算，用于连接设备、移动应用程序和浏览器后端服务。
码农小旋风·2023-12-16 11:13

如何在海量数据中判断某个数据是否存在？

通常我们有以下解决思路：将海量数据分散存储到多个文件中去，依次将每个文件载入内存进行判定；使用多台机器进行分布式计算，每台机器完成各自任务；使用布隆过滤器
封心_SH·2023-12-16 02:25

云计算核心技术

它可以被看成是网格计算和虚拟化技术的融合：即利用网格分布式计算处理的能力，将IT资源构筑成一个资源池，再加上成熟的服务器虚拟化、存储虚拟化技术，以便用户可以实时地监控和调配资源。云计算更多的是指
空心木偶☜·2023-12-16 01:14

玩转大数据14：分布式计算框架的选择与比较

分布式计算框架提供了一种有效的方式来解决大数据处理的问题。分布式计算框架将计算任务分解成多个子任务，并在多个节点上并行执行，从而提高计算效率。
沛沛老爹·2023-12-15 22:13

【基础知识】Hadoop生态系统

Hadoop是一个开源的分布式计算框架,主要用于大数据的存储和处理，即一个包含多种组件的综合分布式系统,组件相互协作完成从数据存储到计算分析的完整功能。
偏振万花筒·2023-12-15 12:40

Spark 单机搭建实战指南

摘要：本文将详细介绍如何在单台机器上搭建Spark分布式计算框架，涵盖环境准备、安装配置、运行测试等多个方面，帮助读者轻松上手Spark开发。
wcuuchina·2023-12-15 07:13

Ray构建GPU隔离的机器学习平台

Ray框架介绍Ray是一个开源分布式计算框架，在机器学习基础设施中发挥着至关重要的作用。Ray促进分布式机器学习训练，使机器学习从业者能够有效利用多个GPU的能力。
数据与后端架构提升之路·2023-12-14 22:57

【Python百宝箱】数据巨轮启航：Python大数据处理库全攻略，引领数据科学新浪潮

本文旨在为读者提供一份全面的指南，介绍了Python中几个重要的大数据处理库，从分布式计算到数据存储再到与Pandas的衔接。
friklogff·2023-12-14 18:22

理解 Spark 写入 API 的数据处理能力

ApacheSpark是一个开源的分布式计算系统，提供了强大的平台用于处理大规模数
小技术君·2023-12-14 12:23

IT程序员面试题目汇总及答案-计算机面试

我最后采用了一种分布式计算的方法，将数据分散到多个计算机上进行处理，从而大大提高了处理速度。问题2：请你解释一下什么是面向对象编程（OOP）？答案2：面向对象编程是一种编程模式，
a谷雨c·2023-12-06 03:58

当发送“Hello，World”时，channel发生了什么？

Cassandra-nosql数据库Spark-大数据分布式计算框架Hadoop-大数据
仙草不加料·2023-12-05 22:53

Flink 快速入门

其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。
知而行2016·2023-12-05 21:28

Java大数据开发入门教程：使用Hadoop处理海量数据

在大数据领域，Hadoop作为一个开源的分布式计算框架，被广泛应用于海量数据的存储和处理。本文将为大家介绍Java大数据开发的基本概念和Hadoop的使用方法，帮助读者入门大数据开发。
C红毛丹·2023-12-05 19:29

Hadoop 概述

区别HDFS概述YARN概述MapReduce架构概述HDFS、YARN、MapReduce三者关系Hadoop生态圈Hadoop概述Hadoop是什么Hadoop是一个由Apache基金会开发的开源分布式计算框架
撕得失败的标签·2023-12-05 19:59

深度探索大数据分析：挖掘价值与洞察力

目录写在开头1.导论1.1大数据的定义与特征1.2大数据对业务和决策的影响1.3大数据分析的基本原则2.大数据技术与工具2.1分布式计算框架2.2数据存储与管理2.3大数据处理与分析工具3.数据采集与清洗
theskylife·2023-12-05 17:39

Hadoop之YARN详解

Hadoop是一个开源的分布式计算框架，它的核心是HDFS和MapReduce。然而，随着Hadoop的发展，它的计算框架也在不断地演进。
蓝胖子的宝贝·2023-12-05 06:33

Apache Hadoop YARN

（YetAnotherResourceNegotiator的缩写）是hadoop集群资源管理器系统，Yarn从hadoop2引入，最初是为了改善MapReduce的实现，但是它具有通用性，同样执行其他分布式计算模式
麦迪康·2023-12-05 06:03

Hadoop的介绍与安装

1Hadoop的简介Hadoop是一个开源的大数据框架，是一个分布式计算的解决方案。
憨憨小白·2023-12-05 06:30

Spark读写Oracle性能深度调优

Spark作为一个分布式计算框架，可以很好的适用于Hadoop。那么Spark是否可以与关系型数据库较好的进行兼容呢？以Spark作为计算，以关系型数据库（例如Oracle）作为存储？  
weixin_43370502·2023-12-04 21:16

数据领域建设的五大方向

1.数据技术的发力点数据汇聚技术包括5G高速光纤ipv6下一代互联网、卫星互联网、叠加互联网、区块链、标识、编码和解析等；数据处理技术包括云计算、边缘计算、分布式计算、大数据处理、AI分析、绿色低碳、数据空间
AIGC方案·2023-12-04 07:54

Hadoop——分布式计算MapReduce和资源调度Yarn

分布式计算MapReduceYARN架构YARN集群部署一、Hadoop安装目录下/etc/hadoop修改mapred-env配置文件，mapred-site.xml文件二、etc/hadoop文件内
A尘埃·2023-12-04 06:34

Hadoop的基本概念、架构、优点、缺陷、适应场景和未来发展方向

作者：禅与计算机程序设计艺术1.背景介绍Hadoop是一个由Apache基金会开发并开源的分布式计算框架，是一个为海量数据的分析而设计的工具。
禅与计算机程序设计艺术·2023-12-03 14:57

机器学习算法-蒸馏学习

而这种算力则是由价格高昂的硬件、庞大而复杂的分布式计算环境、精妙高效的算法作为支撑的。由于基
音味_2fa4·2023-12-03 10:06

Hadoop进阶学习---MapReduce分布式计算架构

1.单词统计流程(文字简单描述)已知文件内容:hadoophivehadoopsparkhiveflinkhivelinuxhivemysql计算每个单词出现的次数2.MR底层计算原理[重点]MAP阶段第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。默认情况下Splitsize等于Blocksize。每一个切片由一个MapTask处理（当然也可以通过参数单独修改split大
Yan_bigdata·2023-12-02 19:30

推荐系统lambda架构学习笔记之Hadoop、HDFS、YARN&MapReduce（三）

DougcuttingHadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名Hadoop的概念:Apache™Hadoop®是一个开源的,可靠的(reliable),可扩展的(scalable)分布式计算框架允许使用简单的编程模型跨计算机集群分布式处理大型数据集可扩展
吃一口桃酥·2023-12-02 19:50

hadoop rpc基础

RPC,远程程序调用，分布式计算中C/S模型的一个应用实例。
安静平和·2023-12-02 17:09

Hadoop -- hadoop介绍

介绍hadoop核心组件hadoop特性优点hadoop发展hadoop介绍hadoop底层是Java语言实现是Apache软件基金会的一款开源软件允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理
小陈菜奈-·2023-12-02 07:07

MessagePack 序列化组件

可用于游戏，分布式计算，微服务，数据存储到Redis等。支持.NET,.NET
-013-·2023-12-02 00:41

玩转大数据：3-Hadoop家族的力量与挑战

引言Hadoop作为一个强大的大数据处理框架，以其分布式计算和存储能力在业界备受关注。然而，Hadoop在应用场景、适用范围、社区支持以及后续持续发展等方面也面临着一些挑战。
沛沛老爹·2023-12-01 13:56

2019-02-01

大数据技术的产生以及发展谷歌的三篇论文分布式文件系统GFS大数据分布式计算框架mapreduceNoSQL数据库系统BigTable大数据计算离线计算——批处理计算（MapReduce、Spark）实时计算
奔跑的风2019·2023-12-01 04:34
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他