hadoopmapreduce

java大数据之spark

Spark基于mapreduce算法模式实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于HadoopMapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写
这一刻_776b·2023-03-22 02:17

Hadoop3.x集群安装教程

HadoopMapReduce，分布式计算
文景大大·2023-03-18 10:11

【Hive】MR 工作流程(数据流转)

本文将介绍Mapreduce的工作流程及HQL优化；Mapreduce简介HadoopMapReduce源于Google发表的MapReduce论文。HadoopMapReduce其
CLOcean·2023-03-15 16:59

jupyter笔记本_如何为Jupyter笔记本电脑设置PySpark

由于内存中的操作，它速度很快（比传统的HadoopMapReduce快100倍）。通过诸如MLlib和GraphX的补充软件包，它与机器学习和图形分析世界完美地集成在一起。
cumj63710·2023-03-15 12:05

大数据技术之HBase（二）HBase原理简介

利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。关系型数据库存储数据是以表格的形式存储，非关系型数据库是以进行存储。通过进行存储
five小点心·2023-03-09 07:33

大数据开发学习之Spark系统架构解读

Spark性能优势的原因Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用并行框
加米谷大数据张老师·2023-02-26 07:18

hadoop介绍

目录大数据与HadoopHadoop模块：HadoopCommon：Hadoop分布式文件系统(HDFS)：HadoopYARN：HadoopMapReduce：Hadoop生态圈组件：Spark（分布式计算框架
昊昊该干饭了·2023-02-02 14:58

【第98期】终于有人把Flink设计理念与基本架构讲明白了

导读：本文从设计理念的角度将Flink与主流计算引擎HadoopMapReduce和Spark进行对比，并从宏观上介绍Flink的基本架构。
hzbooks·2023-01-12 10:12

Hadoop初体验

Hadoop初体验HDFS初体验shell命令操作WebUI页面操作思考HadoopMapReduce+YARN初体验计算圆周率Pi的值--官方示例词频统计--官方示例通过webui查看运行结果HDFS
识途老码·2023-01-11 11:21

Spark入门实战系列--4.Spark运行架构

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1Spark运行架构1.1术语定义Application：SparkApplication的概念和HadoopMapReduce
yirenboy·2022-12-25 07:16

Hadoop学习----Hadoop介绍

Hadoop核心组件：HadoopHDFS（分布式文件存储系统）：解决海量数据存储HaqdoopYARN（集群资源管理和任务调度框架）：解决资源任务调用HadoopMapReduce（分布式计算框架）：
北海怪兽Monster·2022-12-23 09:00

MapReduce初探

编译、打包HadoopMapReduce程序HADOOP_CLASSPATH/app/lib/hadoop-2.7.3/etc/hadoop:/app/lib/hadoop-2.7.3/share/hadoop
solumin·2022-12-23 03:53

《Hadoop与大数据挖掘》——2.5　K-Means算法原理及Hadoop MapReduce实现

2.5K-Means算法原理及HadoopMapReduce实现2.5.1K-Means算法原理K-Means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表。
weixin_34288121·2022-12-19 08:55

Spark的介绍、特点、核心术语、运行过程及安装

Spark介绍二.Spark特点三.Spark核心术语四.Spark运行流程五.Spark安装一.Spark介绍Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce
奋斗的源·2022-12-15 12:12

30-Spark入门之Spark技术栈讲解、分区、系统架构、算子和任务提交方式

Spark是加州大学伯克利分校的AMP实验室所开源的类HadoopMapReduce的通用并行计算框架任务的中间结果可以缓存在内存中，减少磁盘数据交互Spark拥有HadoopMapReduce所具有的优点
大数据下的画像人·2022-12-15 11:09

Spark简介

Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark
秦岭小和尚·2022-12-15 11:48

spark的特点，spark和mapreduce的比较

1.spark的特点(1)运行速度快，如果数据由磁盘读取，速度是hadoopmapreduce的10倍以上，如果数据从内存读取，速度是hadoopmapreduce的100倍以上。
hy772255·2022-12-15 11:40

【云计算与大数据技术】Hadoop MapReduce的讲解（图文解释，超详细必看）

一、HadoopMapReduce架构MapReduce是一种分布式计算框架,能够处理大量数据,并提供容错、可靠等功能,运行部署在大规模计算集群中，MapReduce计算框架采用主从架构，由Client
showswoller·2022-12-13 17:55

【云计算与大数据计算】Hadoop MapReduce实战之统计每个单词出现次数、单词平均长度、Grep（附源码 ）

需要全部代码请点赞关注收藏后评论区留言私信~~~下面通过WordCount，WordMean等几个例子讲解MapReduce的实际应用，编程环境都是以HadoopMapReduce为基础一、WordCountWordCount
showswoller·2022-12-13 17:55

比较Hadoop和Spark

将HadoopMapReduce与Spark作一番比较来得更明智，因
Arthur-Ji·2022-12-12 17:32

Spark 基本架构及运行原理

与HadoopMapReduce计算框架相比，Spark所
不二人生·2022-12-09 09:53

大数据技术原理与应用 大作业--------微博精准营销案例设计与实现

微博精准营销案例设计与实现摘要Abstract目录1.概述2.相关技术介绍2.1Hadoop分布式系统2.1.1.Hadoop概述2.3MapReduce分布式计算2.3.1理解MapReduce思想2.3.2HadoopMapReduce
漫天 星辰·2022-12-04 10:52

国科大大数据系统与大规模数据分析课程第二次作业(Graph Coloring)

国科大大数据系统与大规模数据分析第二次作业(GraphColoring)一、Part1作业内容WordCount的变体，主要考察对HadoopMapReduce框架编程的熟练度，几乎无坑点。
程哥哥吖·2022-11-04 17:04

Hadoop系列——Hadoop练手、压测day2-2

Hadoop系列——Hadoop练手、压测day2-2Hadoop练手HadoopHDFS简单使用创建文件夹（目录）命令式UI界面上传文件命令式UI界面HadoopMapReduce简单使用测试计算圆周率词频统计
简明编程·2022-10-13 12:21

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统HadoopHDFS、分布式计算系统HadoopMapReduce/
@司马懿·2022-09-22 19:12

MapReduce概述及工作流程

mapreduce原语（独创）mapreduce工作流程（重点）MR作业提交流程（重点）YARNRM-HA搭建（熟练）运行自带的wordcount（了解）动手写wordcount（熟练）MapReduce原语hadoopMapReduce
30岁老阿姨·2022-09-21 13:31

Hbase介绍

利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理Hbase中的海量数据,利用Zookeeper作为其分布式协同服务主要用来存储非结构化和半结构化的松散数据（列存NoSQL
sanhongbo·2022-09-19 11:35

spark学习day（一）

spark的介绍spark框架是如何处理数据的HadoopMapReduce框架并行计算的思想、分而治之的思想scala集合高阶函数处理数据的思想将要分析的数据放到集合中去，然后调用集合的高阶函数处理数据
不再简简单单·2022-09-19 11:05

第9章 Spark—基于内存的大数据计算框架

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
这里是_uuu·2022-09-16 13:06

Apache Flink 简介

前言计算引擎大数据计算引擎分为离线计算和实时计算，离线计算就是我们通常说的批计算，代表是HadoopMapReduce、Hive等大数据技术。
小波同学·2022-09-12 23:52

深度解读！新一代大数据引擎Flink厉害在哪？（附实现原理细节）

导语|大数据计算分为离线计算和实时计算，其中离线计算就是我们通常说的批计算，代表技术是HadoopMapReduce、Hive等；实时计算也被称作流计算，代表技术是Storm、SparkStreaming
架构师小秘圈·2022-09-08 10:56

01_大数据导论与Linux基础

贯穿分布式存储技术（HadoopHDFS）分布式计算技术（HadoopMapReduce）、分布式资源调度技术（HadoopYARN）以及数据仓库技术（Hive）。
饮马翰海·2022-08-24 18:36

CVE-2022-33891 Apache Spark 命令注入复现

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
wavesky111·2022-08-16 19:08

漏洞复现：Apache Spark 命令注入（CVE-2022-33891）

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
GreatBug333·2022-08-16 19:06

开源漏洞深度分析|CVE-2022-33891 Apache Spark 命令注入漏洞

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不
棱镜七彩·2022-08-16 19:34

【Hadoop】MapReduce 原理

HadoopMapReduce：基于YARN的系统，用于并行处理大型数据集。之前已经学习过YARN：Yarn
和风与影·2022-08-02 09:04

【Hadoop】HDFS 原理

HadoopMapReduce：基于YARN的系统，用于并行处理大型数据集。之前已经学习过YARN和MapR
和风与影·2022-08-02 09:30

数据湖：流计算处理框架Flink概述

系列专题：数据湖系列文章大数据计算引擎分为离线计算和实时计算，离线计算就是我们通常说的批计算，代表是HadoopMapReduce、Hive等大数据技术。
YoungerChina·2022-08-02 09:29

spark输出rdd数据_使用Spark RDD进行快速数据处理

HadoopMapReduce很好地满足了用户的批处理需求，但由于渴望开发更灵活的大数据工具来进行实时处理，催生了大数据宝贝ApacheSpark。
雯雯呀·2022-07-20 18:26

Spark大数据分析与实战课后习题参考答案

项目一：一、选择题DCCDAD二、简答题1、HadoopMapReduce要求每个步骤间的数据序列化到磁盘，所以I/O成本很高，导致交互分析和迭代算法开销很大；Spark提供了内存计算，把中间结果放到内存中
高校知识店铺合集汇总·2022-07-14 15:44

【大数据开发笔记1】什么是Hadoop?

开源允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理Hadoop核心组件-HadoopHDFS（分布式文件存储系统）：解决海量数据存储-HadoopYARN（集群资源管理和任务调度框架）：解决资源任务调度-HadoopMapReduce
Lubang_Future·2022-04-26 12:43

离线数据处理工具、准实时数据处理工具与实时数据处理工具

1、离线数据：hiveHive查询操作过程严格遵守HadoopMapReduce的作业执行模型，Hive将用户的HiveSQL语句通过解释器转换为MapReduce作业提交到Hadoop集群上，Hadoop
烧卖攻城·2022-04-24 15:53

大数据Hadoop之——计算引擎Spark

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于
大数据老司机·2022-04-17 09:26

Spark启动及提交流程内部核心原理剖析

ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎，并且拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写
·2022-03-23 12:18

Spark 环境下 Scala 和 Python 两种语言的对比！

而ApacheSpark作为类HadoopMapReduce的通用并行框架，一款专为大规模数据处理而设计的分布式计算引擎，以其优越的性能，较为完善的生态，受到了大数据从业人员的青睐。
Python资深程序员·2022-02-07 13:55

day 49 hbase 安装

Iknow,iknow地球另一端有你陪我一、HBaseHBase–HadoopDatabase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库利用HadoopHDFS作为其文件存储系统利用HadoopMapReduce
韭菜盒子123·2021-11-30 19:26

Hadoop (MapReduce) 之旅

HadoopMapReduce之旅MapReduce概述定义优缺点优点缺点MapReduce核心思想MapReduce进程WordCount源码常用数据序列化类型MapReduce编程规范Mapper阶段
cpuCode·2021-11-18 19:07

大数据开发之Spark 基础入门学习

指的是在集群上获取资源的外部服务，为每个sparkapplication在集群中调度和分配资源的组件，目前有三种类型：•Standalone：Spark原生的资源管理，由Master负责资源的分配•ApacheMesos：与HadoopMapReduce
·2021-10-26 11:59

2021SC@SDUSC HBase项目分析：安装、配置与分工

HadoopHDFS为HBase提供了高可靠性的底层存储支持，HadoopMapReduce为HBase提供了高性能的计算能力，Z
Yy2002sdu·2021-09-28 21:59

教你用Python 编写 Hadoop MapReduce 程序

本文分享自华为云社区《HadoopStreaming：用Python编写HadoopMapReduce程序》，作者：DonglianLin。
·2021-09-24 15:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他