hadoopmapreduce

Spark 常用算子详解（转换算子、行动算子、控制算子）

Spark简介Spark是专为大规模数据处理而设计的快速通用的计算引擎；Spark拥有HadoopMapReduce所具有的优点，但是运行速度却比MapReduce有很大的提升，特别是在数据挖掘、机器学习等需要迭代的领域可提升
SUSUR_28f6·2023-09-20 03:33

Spark基本概念

Spark概述Spark简介ApacheSpark的特性Spark适用场景Spark与HadoopMapReduce比较Spark基本概念Spark简介ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎
coppher·2023-09-17 10:40

Apache Spark 的基本概念

与传统的HadoopMapReduce相比，Spark具有更高的性能和更广泛的应用场景。
IKUN家族·2023-09-17 10:08

Hadoop MapReduce与Apache Spark谁赢得了胜利？

ApacheSpark是对hadoop大数据生态系统的原始HadoopMapReduce组件的改进。
会飞的鱼go·2023-09-17 06:50

Spark

与HadoopMapReduce相比，Spark具有更高的性能和更丰富的功能，可以处理更复杂的数据处理任务。
山塘小鱼儿·2023-09-16 08:20

Spark

Spark是加州大学伯克利分校的AMP实验室所开源的类HadoopMapReduce的通用并行计算框架，Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以缓存在内存中
HikZ.919·2023-09-14 23:29

Hadoop概述

语言实现开源软件框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理Hadoop核心组件HadoopHDFS(分布式文件存储管理系统)：解决海量数据存储HadoopYARN(集群资源管理和任务调度框架)：解决资源任务调度HadoopMapReduce
藤藤菜丶·2023-09-09 05:15

GaussDB(DWS)与Hive在功能上存在一定的差异

GaussDB(DWS)与Hive在功能上存在一定的差异，主要体现在以下几个方面：Hive是基于HadoopMapReduce的数据仓库，GaussDB(DWS)是基于Postgres的MPP的数据仓库
燃烧的岁月_·2023-09-08 02:55

Spark入门教程

Spark使用内存计算技术，在处理大规模数据时比HadoopMapReduce更快，可以
zzy979·2023-09-05 07:08

谈谈Hadoop MapReduce和Spark MR实现

谈谈MapReduce的概念、HadoopMapReduce和Spark基于MR的实现什么是MapReduce？MapReduce是一种分布式海量数据处理的编程模型，用于大规模数据集的并行运算。
码农峰·2023-09-04 10:40

Hadoop支持LZO压缩

在Hadoop生态系统中，LZO压缩通常用于HadoopMapReduce作业的输入和输出数据，以减少存储空间和数据传输的开销。
贾斯汀玛尔斯·2023-08-23 07:32

谁能讲清楚Spark之Spark系统架构

###整体架构概述Spark与HadoopMapReduce的结构类似，Spark也采用Master-Worker结构。
数据咩·2023-08-13 12:28

MapReduce基础原理、MR与MPP区别

HadoopMapReduce是一个编程框架，Hadoop环境中，可运行用各种语言编写的MapReduce程序，用于创建在大型商用硬件集群上处理大量数据的应用程序，
偷偷学习被我发现·2023-08-07 08:04

Spark 介绍以及相关概念

Spark是UCBerkeley加州大学伯克利AMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点
Alukar·2023-08-01 21:19

【数据仓库】Apache Hive初体验

使用HadoopMapReduce直接处理数据所面临的问题：人员学习成本太高需要掌握ava语言MapReduce实现，复杂查询逻辑开发难度太大！
wenchun001·2023-07-28 21:52

大数据Flink（五十一）：Flink的引入和Flink的简介

文章目录Flink的引入和Flink的简介一、Flink的引入1、第1代——HadoopMapReduce
Lansonli·2023-07-28 06:36

大数据之Spark

1、Spark与HadoopHadoop已经成了大数据技术的事实标准，HadoopMapReduce也非常适合于对大规模数据集合进行批处理操作，但是其本身还存在一些缺陷。
冰河winner·2023-07-26 12:12

Hadoop (一) Hadoop学习

软件，用户编写简单的编程模型实现跨机器对海量数据分布式计算处理的框架Hadoop的核心组件有HadoopHDFS：分布式文件系统大数据存储HadoopYARN：集群的资源管理和任务调度框架集群资源分配HadoopMapReduce
C0oOder·2023-07-25 07:52

Spark内存计算

Spark在做数据的批处理计算，计算性能大约是HadoopMapReduce的10~100倍，因为Spark使用比较先进的基于DAG任务调度，可以将一个任务拆分成若干个阶段，然后将这些阶段分批次交给集群计算节点处理
小中.·2023-07-23 04:17

深入理解Spark中的Cache和Checkpoint

Spark中的Cache和Checkpoint机制与HadoopMapReduce的区别HadoopMapReduce在执行job的时候，不停地做持久化，每个task运行结束做一次，每个job运行结束做一次
undo_try·2023-07-18 13:11

【Spark】简介

spark是一个用于大规模数据处理的统一分析引擎、它基于hadoopmapreduce并扩展了mapreduce模型，能
落花生@u·2023-07-15 07:15

2023春季工信部spark高级考试大题

训练数据train：idtextlabel0"abcdespark"1.01"bd"0.02"sparkfgh"1.03"hadoopmapreduce"0.0测试数据text：idtext4"s
音九尘·2023-07-15 06:00

Apache Spark 的基本概念重点和在大数据分析中的应用

Spark最初是由加州大学伯克利分校的AMPLab开发的，目的是为了解决HadoopMapReduce在迭代计算、交互式数据挖掘以及实时数据流处理等方面的性能瓶颈。
Distantfbc·2023-06-22 08:48

Exception: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

学习HadoopMapReduce使用的过程中报错，检查环境变量配置无误，看到很多解决方案说：C:\Windows\System32下缺少hadoop.dll,把这个文件拷贝到C:\Windows\System32
香蕉弦定李·2023-06-21 07:22

分布式计算框架——MapReduce

一、MapReduce概述HadoopMapReduce是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集。
Cynicism_Kevin·2023-06-20 01:24

任务调度框架之oozie

一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对HadoopMapreduce、PigJobs的任务调度与协调。Oozie需要部署到JavaServlet容器中运行
陈朝辉_39f7·2023-06-19 20:17

Hive学习

Hive查询操作过程严格遵守HadoopMapReduce的作业执行模型，Hive将用户的HiveQL语句通过解释器转换为提交到Hadoop集群上，Had
明月清风，良宵美酒·2023-06-17 11:36

Apache Spark教程_编程入门自学教程_菜鸟教程-免费教程分享

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
·2023-06-16 14:56

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/
kevin0016·2023-06-12 08:14

【Hadoop】二、Hadoop MapReduce与Hadoop YARN

文章目录二、HadoopMapReduce与HadoopYARN1、HadoopMapReduce1.1、理解MapReduce思想1.2、HadoopMapReduce设计构思1.3、HadoopMapReduce
陌上人如玉এ·2023-06-07 09:02

Hadoop学习_day01_基础概念

HadoopHDFS分布式文件系统：解决海量数据存储HadoopMAPREDUCE分布式运算编程框架：解决海量数据计算HadoopYARN作业调度和集群资源管理框架：解决集群资源任务调度海量数据如何存储
mango660·2023-04-19 03:39

104_es生产集群备份恢复之部署hadoop hdfs分布式文件存储系统

hadoophdfs是什么的同学，简单的介绍，不会花太多时间，hadoop当前大数据领域的事实上的一个标准hadoophdfs，提供的是分布式的文件存储，数据存储hadoopyarn，提供的是分布式的资源调度hadoopmapreduce
小山居·2023-04-15 05:56

从零开始认识 Spark

老套路，我们点开官网来seesee先吧把这句话翻译一下spark是在Hadoop基础上的改进，是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于
即将秃头的Java程序员·2023-04-11 20:16

HDFS和MapReduce 架构分析----阿冬专栏

articles.e-works.net.cn/It_overview/Article103875.htmHadoopHDFS和MapReduce架构浅析在简述Hadoopnamenode、datanode运行模式的基础上，重点介绍了HadoopMapReduce
阿冬专栏·2023-04-10 16:29

Linux实战——Hadoop安装部署

三类组件HadoopHDFS：提供分布式海量数据存储能力HadoopYARN：提供分布式集群资源管理能力HadoopMapReduce：提供分布式海量数据计算能力前置要求请确保完成了集群化环境前置准备即
会不了一点·2023-04-10 04:37

linux hadoop 关系,最全hadoop架构总结

HadoopMapReduce：一个分布式的离线并行计算框
苏文强·2023-04-09 15:20

Spark简介

Spark是UCBerkeley所开发的类HadoopMapReduce的通用并行框架，拥有HadoopMapReduce所有优点，区别在于Job中间输出可保存在内存中，无需再读写HDFS，所以比Hadoop
GakkiLove·2023-04-08 10:37

Linux学习笔记——Hadoop安装部署

HadoopHDFS提供分布式海量数据存储能力HadoopYARN提供分布式集群资源管理能力HadoopMapReduce提供分布式海量数据计算能力5.10.1.1、前置要求请确保完成了集群化环境前置准备章节的
kxttmx·2023-04-08 03:22

spark 宽窄依赖

宽依赖与窄依赖窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常数个父RDD分区(O(1)，与数据规模无关)ShuffleDependency和HadoopMapReduce
leofionn·2023-04-06 19:05

2021-12-15 Ubuntu下安装配置 Apache Spark

它基于HadoopMapReduce，它扩展了MapReduce模型以便将其用于更多类型的计算，其中包括交互式查询和流处理。Spark的主要特点是其内存集群计算，可提高应用程序的处理速度。
垄山小站·2023-04-06 10:45

Spark架构设计和运行基本流程

2、与HadoopMapReduce计算框架相比，Sp
郝少·2023-04-05 19:37

大数据系列——HBase理论

以HadoopMapReduce来处理HBase中的海量数据计算，以HadoopHDFS来处理HBase中的海量数据存储，以Zookeeper作为其分布式协同服务、元数据存储，主要用来存储结构化、非结构化
mql007007·2023-04-03 06:29

Hadoop MapReduce 介绍

HadoopMapReduceMapReduce核心思想设计构思什么是MapReduceMapReduce的特点MapReduce的不足（局限性）MapReduce组成HadoopMapReduce实现流程
阿龙的代码在报错·2023-04-02 15:37

【Hadoop】Yarn 资源调度器

HadoopMapReduce：基于Y
和风与影·2023-03-30 23:00

大数据技术原理与应用（第十章 Spark）

生态系统BDAS架构Spark生态系统组件的应用场景10.3Spark运行架构Spark基本概念和架构设计RDDDAGExecutorApplicationTaskJobStageSpark运行架构与HadoopMapReduce
m0_37607242·2023-03-30 23:48

第四章大数据离线计算框架（MapReduce&YARN）

HadoopMapReduce是基于HDFS
风起天澜、·2023-03-30 20:29

Spark架构基本介绍

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架优点快速：spark有先进的DAG执行引擎，支持循环数据流和内存计算
叽里咕噜大数据ZRL·2023-03-29 21:25

Hadoop YARN学习之Hadoop框架演进历史简述

集群时代标志着Hadoop的起源，集群以AdHoc、单用户方式建立阶段1：HadooponDemand（HOD）是进化过程中的下一个阶段，以一种通用系统的形式，在商用硬件组成的共享集群上提供和管理私有HadoopMapReduce
weixin_34161029·2023-03-29 20:39

HBase详解（一）——介绍，架构，数据模型

HBase介绍HBase是HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库LSMTree利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce
ErYao7·2023-03-29 08:31

Hive架构简述及工作原理

直接使用HadoopMapReduce处理数据所面临的问题：学习成本高，MapReduce实现复杂查询功能开发难度大，使用Hive接口采用类SQL语法，提供快速开发的能力避免了去写MapRedu
思屿`·2023-03-23 18:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他