hadoopmapreduce

大数据流处理框架：Spark Streaming与Storm

ApacheSpark流处理Spark框架的出现，是在HadoopMapReduce基础上继承研发而来，本质上来说，还是
成都加米谷大数据·2023-11-20 12:20

Hadoop伪分布式搭建

Hadoop伪分布式搭建目的准备支持的平台需要的软件下载伪分布式配置设置SSH免密登录启动hadoop验证文件分块查看上传后的文件目的本文档介绍如何设置和配置单节点Hadoop安装，以便您可以使用HadoopMapReduce
best program·2023-11-15 05:13

Spark Streaming发布到Yarn

YARN的设计目标是解决HadoopMapReduce在处理大规模数据处理时面临的问题，例如扩展性、灵活性、容错性和性能优化。
cong_han·2023-11-11 23:50

如何在虚拟机上安装和配置Spark开发环境

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark拥有HadoopMapReduc
Deng872347348·2023-11-11 19:39

hadoop MapReduce 实战（java）：单词计数

hadoopMapReduce实战（java）：单词计数点击【File】—>【Project】，选择【Map/ReduceProject】，输入项目名称test，一直回车。
柯努力·2023-11-10 20:51

spark基础知识点

Spark针对开发大数据应用程序提供了丰富的API，这些API比HadoopMapReduce更易读懂。相比之下，HadoopMapRed
叫我三少爷·2023-11-07 05:01

Apache Hive

目录数据仓库（DW）SQL语法分类Hive和Hadoop之间的关系（底层是HadoopHive将SQL转换为MapReduce）为什么使用Hive使用HadoopMapReduce直接处理数据所面临的问题使用
liyantower·2023-10-31 05:44

《Hbase原理与实践》读书笔记——1.HBase概述

1.1HBase前世今生Google当年风靡一时的“三篇论文”：GFS->HDFS,Mapreduce->hadoopmapreduce,bigTable->HBase。
凯哥多帅哦·2023-10-24 01:33

Spark 简介

spark特点spark是基于内存计算的大数据并行计算框架具有如下特点：运行速度快Spark使用先进的DAG执行引擎，基于内存的执行速度可比HadoopMapReduce快上百倍，基于磁盘的执行速度也能快十倍容易使用支持使用
博弈史密斯·2023-10-23 16:22

MapReduce NativeTask优化详解

基本介绍NativeTask是HadoopMapReduce的高性能C++API和运行时。
shining_yyds·2023-10-22 00:25

ubuntu20安装Spark和pyspark的简单使用

简单介绍1，介绍Hadoop存在如下一些缺点：表达能力有限、磁盘IO开销大、延迟高、任务之间的衔接涉及IO开销、在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务Spark在借鉴HadoopMapReduce
断线纸鸢张·2023-10-21 06:07

【大数据技术原理】MapReduce详解

HadoopMapReduce是分布式应用程序Hado
YoHu人家·2023-10-20 18:10

2019-06-16

准备写一个大数据HadoopMapreduce教程：如何在不会JAVA语言的情况下快速完成Hadoop的MapReduce大作业，纪念我这学期的生活。
Rosyyyy·2023-10-19 00:51

MapReduce

HadoopMapReduce计算编程模型可以用于处理大数据集，它的一般思路是将输入dataset切分为多个split，每个split交由一个mapper处理，mapper处理之后再交由reduce处理
spraysss·2023-10-18 17:18

Hadoop分布式计算框架-MapReduce

本文所有代码链接：https://download.csdn.net/download/shangjg03/884373131.MapReduce概述HadoopMapReduce是一个分布式计算框架，
shangjg3·2023-10-17 19:29

Apache Spark 的基本概念和在大数据分析中的应用

它是基于内存的计算框架，比传统的基于磁盘的HadoopMapReduce框架要快得多。
Roc-xb·2023-10-17 19:38

Hadoop：MapReduce序列化

在HadoopMapReduce中，序列化的主要作用有两个：永久存储和进程间通信。
oraclestudyroad·2023-10-15 12:18

【大数据】Hadoop MapReduce与Hadoop YARN（学习笔记）

一、HadoopMapReduce介绍1、设计构思1）如何对付大数据处理场景对相互间不具有计算依赖关系的大数据计算任务，实现并行最自然的办法就是采取MapReduce分而治之的策略。
rexhao_wmh·2023-10-14 07:27

Hbase集群部署

HBASE介绍–HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库–利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理
Best_Liu~·2023-10-13 23:49

Spark大数据平台

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
Hi~晴天大圣·2023-10-13 05:16

《黑马程序员》大数据集群（Hadoop生态）安装部署——图文讲解

HadoopHDFS提供分布式海量数据存储能力HadoopYARN提供分布式集群资源管理能力HadoopMapReduce提供分布式海量数据计算能力前置要求请确保完成了集群化环境前置准备章节的内容即：JDK
懒羊羊夸夸~·2023-10-10 02:41

大数据—— Spark Core 知识点整理

官方提供的数据表明，如果数据由磁盘读取，速度是HadoopMapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。
Vicky_Tang·2023-10-09 21:34

Hadoop核心组件

HadoopMapReduce:分布式计算框架一.HDFS1.HDFS概述HDFS是google三大论文之一的GFS的开源实现，是一个高度容错性的系统，适合部
HZHZHZ·2023-10-08 10:16

Hadoop之hdfs简介

HadoopHDFS:一个高可靠、高吞吐量的分布式文件存储系统HadoopMapReduce:一个分布式的离线并行计算框架HadoopYARN:一个新的MapReduce框架，任务调度与资源管理框架HadoopDistrib
墙角的枫叶·2023-10-08 07:53

Spark基础

复杂的逻辑需要大量的样板代码(2)处理效率低Map中间结果写磁盘，Reduce写HDFS，多个Map通过HDFS交换数据任务调度与启动开销大(3)不适合迭代处理、交互式处理和流式处理Ⅱ、Spark是类HadoopMapReduce
罗刹海是市式市世视士·2023-10-07 17:51

spark工作原理和介绍

是HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再
摩V羯座·2023-09-30 01:06

Spark 计算框架

ApacheSpark™是用于大规模数据处理的快速和通用引擎.速度:在内存中,运行程序比HadoopMapReduce快100倍，在磁盘上则要快10倍.ApacheSpark具有支持非循环数据流和内存计算的高级
记录哥·2023-09-26 10:25

IDEA连接Hive

IDEA连接Hive1、打开IDEA右侧database2、添加Hive连接3、手动下载依赖包3.1、hadoopcommon下的三个包3.2、hadoopMapReduce下的包3.3、hivelib
清梦清河·2023-09-25 10:08

云计算与大数据——Spark的安装和配置

与传统的HadoopMapReduce相比，Spark的主要优势在于其能够将数据集缓存在内存中，从而大大减少了磁盘I/O操作，提高了数据处理速度。
星川皆无恙·2023-09-25 05:10

Spark 常用算子详解（转换算子、行动算子、控制算子）

Spark简介Spark是专为大规模数据处理而设计的快速通用的计算引擎；Spark拥有HadoopMapReduce所具有的优点，但是运行速度却比MapReduce有很大的提升，特别是在数据挖掘、机器学习等需要迭代的领域可提升
SUSUR_28f6·2023-09-20 03:33

Spark基本概念

Spark概述Spark简介ApacheSpark的特性Spark适用场景Spark与HadoopMapReduce比较Spark基本概念Spark简介ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎
coppher·2023-09-17 10:40

Apache Spark 的基本概念

与传统的HadoopMapReduce相比，Spark具有更高的性能和更广泛的应用场景。
IKUN家族·2023-09-17 10:08

Hadoop MapReduce与Apache Spark谁赢得了胜利？

ApacheSpark是对hadoop大数据生态系统的原始HadoopMapReduce组件的改进。
会飞的鱼go·2023-09-17 06:50

Spark

与HadoopMapReduce相比，Spark具有更高的性能和更丰富的功能，可以处理更复杂的数据处理任务。
山塘小鱼儿·2023-09-16 08:20

Spark

Spark是加州大学伯克利分校的AMP实验室所开源的类HadoopMapReduce的通用并行计算框架，Spark拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以缓存在内存中
HikZ.919·2023-09-14 23:29

Hadoop概述

语言实现开源软件框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理Hadoop核心组件HadoopHDFS(分布式文件存储管理系统)：解决海量数据存储HadoopYARN(集群资源管理和任务调度框架)：解决资源任务调度HadoopMapReduce
藤藤菜丶·2023-09-09 05:15

GaussDB(DWS)与Hive在功能上存在一定的差异

GaussDB(DWS)与Hive在功能上存在一定的差异，主要体现在以下几个方面：Hive是基于HadoopMapReduce的数据仓库，GaussDB(DWS)是基于Postgres的MPP的数据仓库
燃烧的岁月_·2023-09-08 02:55

Spark入门教程

Spark使用内存计算技术，在处理大规模数据时比HadoopMapReduce更快，可以
zzy979·2023-09-05 07:08

谈谈Hadoop MapReduce和Spark MR实现

谈谈MapReduce的概念、HadoopMapReduce和Spark基于MR的实现什么是MapReduce？MapReduce是一种分布式海量数据处理的编程模型，用于大规模数据集的并行运算。
码农峰·2023-09-04 10:40

Hadoop支持LZO压缩

在Hadoop生态系统中，LZO压缩通常用于HadoopMapReduce作业的输入和输出数据，以减少存储空间和数据传输的开销。
贾斯汀玛尔斯·2023-08-23 07:32

谁能讲清楚Spark之Spark系统架构

###整体架构概述Spark与HadoopMapReduce的结构类似，Spark也采用Master-Worker结构。
数据咩·2023-08-13 12:28

MapReduce基础原理、MR与MPP区别

HadoopMapReduce是一个编程框架，Hadoop环境中，可运行用各种语言编写的MapReduce程序，用于创建在大型商用硬件集群上处理大量数据的应用程序，
偷偷学习被我发现·2023-08-07 08:04

Spark 介绍以及相关概念

Spark是UCBerkeley加州大学伯克利AMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点
Alukar·2023-08-01 21:19

【数据仓库】Apache Hive初体验

使用HadoopMapReduce直接处理数据所面临的问题：人员学习成本太高需要掌握ava语言MapReduce实现，复杂查询逻辑开发难度太大！
wenchun001·2023-07-28 21:52

大数据Flink（五十一）：Flink的引入和Flink的简介

文章目录Flink的引入和Flink的简介一、Flink的引入1、第1代——HadoopMapReduce
Lansonli·2023-07-28 06:36

大数据之Spark

1、Spark与HadoopHadoop已经成了大数据技术的事实标准，HadoopMapReduce也非常适合于对大规模数据集合进行批处理操作，但是其本身还存在一些缺陷。
冰河winner·2023-07-26 12:12

Hadoop (一) Hadoop学习

软件，用户编写简单的编程模型实现跨机器对海量数据分布式计算处理的框架Hadoop的核心组件有HadoopHDFS：分布式文件系统大数据存储HadoopYARN：集群的资源管理和任务调度框架集群资源分配HadoopMapReduce
C0oOder·2023-07-25 07:52

Spark内存计算

Spark在做数据的批处理计算，计算性能大约是HadoopMapReduce的10~100倍，因为Spark使用比较先进的基于DAG任务调度，可以将一个任务拆分成若干个阶段，然后将这些阶段分批次交给集群计算节点处理
小中.·2023-07-23 04:17

深入理解Spark中的Cache和Checkpoint

Spark中的Cache和Checkpoint机制与HadoopMapReduce的区别HadoopMapReduce在执行job的时候，不停地做持久化，每个task运行结束做一次，每个job运行结束做一次
undo_try·2023-07-18 13:11

【Spark】简介

spark是一个用于大规模数据处理的统一分析引擎、它基于hadoopmapreduce并扩展了mapreduce模型，能
落花生@u·2023-07-15 07:15
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他