大数据计算-MapReduce

Google分布式系统三大论文解析

毫无疑问，Google是在这一领域的开山鼻祖，为往圣继绝学，作者将重温Google在分布式系统领域的三大经典论文——GFS、MapReduce、BigTable。
知春路SpideMan·2023-08-08 11:13

分布式学习前瞻

1.概念分布式首先要关注如下几方面：一是分布式系统计算框架，二是分布式存储，三是分布式服务协调组织，四是分布式概念本身计算框架：目前来说基本上都是基于MapReduce的，可以说是开山鼻祖，后来为了处理更多其他的场景所面临的的问题
Kevin照墨·2023-08-08 11:42

MIT 6.824 -- MapReduce -- 01

MIT6.824--MapReduce--01引言抽象和实现可扩展性可用性(容错性)一致性MapReduceMap函数和Reduce函数疑问课程b站视频地址:MIT6.824DistributedSystemsSpring2020
Binary Oracle·2023-08-07 10:06

MapReduce基础原理、MR与MPP区别

MapReduce概述MapReduce（MR）本质上是一种用于数据处理的编程模型；MapReduce用于海量数据的计算，HDFS用于海量数据的存储（HadoopDistributedFileSystem
偷偷学习被我发现·2023-08-07 08:04

HCatalog教程_编程入门自学教程_菜鸟教程-免费教程分享

教程简介HCatalog使用了Hive的元数据存储，这样就使得像MapReduce这样的第三方应用可以直接从Hive的数据仓库中读写数据。
IT民工爱搬砖·2023-08-07 08:55

Yarn是个什么玩意

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序。
乌拉乌拉儿·2023-08-06 22:04

spark SQLHadoopMapReduceCommitProtocol中mapreduce.fileoutputcommitter.algorithm.version选择1还是2

背景本文基于spark3.1.1对于spark来说默认的mapreduce.fileoutputcommitter.algorithm.version是1这个在SparkHadoopUtil.scala
鸿乃江边鸟·2023-08-06 19:22

HIVE学习

大白话:HIVE就是一个类似于Navicat的可视化客户端,2.HIVE本质Hive是一个Hadoop客户端，用于将HQL（HiveSQL）转化成MapReduce程序。
叫我莫言鸭·2023-08-06 07:40

Hive执行引擎的区别

执行引擎Tez、Spark和MapReduce都是用于在大数据处理中执行任务的框架或引擎，它们在性能、优化、适用场景等方面有一些区别。
Matthew117·2023-08-06 06:43

Hive并行执行

这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。
Matthew117·2023-08-06 06:42

Spark_Core---1

2、为什么要学习sparkMapReduce框架局限性1，Map结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据2，任务调度和
Wzideng·2023-08-06 04:49

HDFS中的sequence file

提供的一种二进制文件存储格式一条数据称之为record（记录），底层直接以键值对形式序列化到文件中优缺点优点二进制格式存储，比文本文件更紧凑支持不同级别压缩（基于record或block压缩）文件可以拆分和并行处理，适用于MapReduce
fiveym·2023-08-06 03:53

Hadoop MapReduce编程创建maven项目时所用到的pom依赖

junitjunit3.8.1testorg.apache.hadoophadoop-common2.6.0org.apache.hadoophadoop-client2.6.0org.apache.hadoophadoop-hdfs2.6.0jdk.toolsjdk.tools1.7system${JAVA_HOME}/lib/tools.jar
雨田示韦非文·2023-08-06 01:37

大数据工程师常见4大面试问题

RDD中reduceBykey与groupByKey哪个性能好，为什么reduceByKey：reduceByKey会在结果发送至reducer之前会对每个mapper在本地进行merge，有点类似于在MapReduce
kuntoria·2023-08-06 00:02

大数据之Hive

本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的默认实现是MapReduce3）执行程序运行在Yarn上1.2Hi
不如打代码·2023-08-05 22:18

Hadoop Multi Node Cluster的安装

HadoopMultiNodeCluster的规划如图5-1所示：由多台电脑组成:有一台主要的电脑master，在HDFS担任NameNode角色，在MapReduce2(YARN)担任ResourceManager
qclonle·2023-08-05 17:50

hadoop中MapReduce工作机制

在MapReduce整个过程可以概括为以下过程：输入-->map-->shuffle-->reduce-->输出输入文件会被切分成多个块，每一块都有一个maptaskmap阶段的输出结果会先写到内存缓冲区
MOOJ·2023-08-05 17:13

Spark、RDD、Hive 、Hadoop-Hive 和传统关系型数据库区别

HiveHadoopHive和传统关系型数据库区别Spark概念基于内存的分布式计算框架只负责算不负责存spark在离线计算功能上类似于mapreduce的作用MapReduce的缺点运行速度慢（没有充分利用内存
Wzideng·2023-08-05 15:22

《Hadoop权威指南》学习笔记（1）——初始Hadoop及了解MapReduce

注：因为Hadoop中的代码实现用java较为方便，并且书中代码用java实现的解释较为容易理解，所以，在博客中的代码实现均会使用java。第1章初识Hadoop我们为什么需要Hadoop我们生活在一个数据爆炸的时代，现代每天产生的数据量甚至要超过从商周到清代产生的数据的总和。在这样一个时代，数据即是机遇，如何存储更多的数据，如何快速的对数据进行分析提取，就成了一个无法避免的问题。此外，我们注意到
啜晓伟·2023-08-05 13:08

《Hadoop权威指南》学习笔记（4）——关于YARN

YARN运行在集群存储层（HDFS和HBase）上，一些分布式计算框架（如MapReduce和Spark等）作为YARN应用运行在集群计算层（YARN）和集群存储层上。
啜晓伟·2023-08-05 13:08

golang使用泛型实现mapreduce操作

1.使用面向对象的方式写packagestreamimport("fmt""log""reflect""sort""strconv""strings")typeStream[Tany]struct{data[]TkeyBystringsortByNumstringsortByStr[]string}funcFromElement[Tany](data[]T)*Stream[T]{return&St
我终于有blog了·2023-08-05 06:09

Hadoop知识点总结

1.MapReduce中Shuffle的执行流程是什么样的？
ZhaoXiangmoStu·2023-08-05 06:18

六万字！Spark Core、Spark SQL、Spark Streaming一锅端

介绍特点与MapReduce相比技术栈二、Spark架构运行架构核心组件三、SparkCoreRDD概念特性RDD依赖关系DAG分区Shuffle过程RDD创建方式算子常用的转换算子(Scala版)常用的转换算子
菜鸟也学大数据·2023-08-05 02:16

join

selecta.,b.fromajoinbona.id=b.idinterview:描述如何使用MapReduce来实现join的功能考察点：1）MapReduce执行流程2）JOIN的底层执行过程3）
V_6619·2023-08-05 01:54

hive底层与数据库交互原理

一、Hive到底是什么image.png如何理解Hive（1）从概念上来看->Hive是基于Hadoop的一个数据仓库工具；它是MapReduce的一个封装，底层就是MapReduce程序；->Hive
VincentLeon·2023-08-04 19:09

四、Yarn

刚开始MapReduce框架是包含MapReduce和资源调度的，也就是说MapReduce与资源调度耦合在一起。
阿文灬·2023-08-04 19:21

Spark RDD详解

它旨在执行批处理(类似于MapReduce)和提供新的工作特性，例如流计算，SparkSQL交互式查询
丿沐染烟忱丶·2023-08-04 18:03

奥威BI系统|秒分析，更适合分析大数据

奥威BI系统采用微服务框架，解决因巨大的数据量而拖慢系统，导致系统卡顿、崩溃的问题，同时奥威BI系统也拥有极优秀的大数据计算、分析、可视化展现能力，能够实现亿级数据秒响应
qq_43696218·2023-08-04 17:40

Parquet文件格式解析

介绍Parquet是目前比较流行的大数据文件列存储格式，主流的大数据计算框架都对其有良好的支持，包括spark,hive,impala等。
david'fantasy·2023-08-04 16:27

Parquet文件格式解析

介绍Parquet是目前比较流行的大数据文件列存储格式，主流的大数据计算框架都对其有良好的支持，包括spark,hive,impala等。
javastart·2023-08-04 16:57

Hadoop简介和集群搭建测试(一)

的优势有四高：(1)高可用:Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失(2)高扩展:在集群间分配任务数据，可方便的扩展数以千计的节点(3)高效性:在MapReduce
modi_2020·2023-08-04 08:33

sqoop

.x)不兼容，sqoop2并没有生产的稳定版本，Sqoop1import原理(导入)从传统数据库获取元数据信息（schema、table、field、fieldtype）,把导入功能转换为只有Map的Mapreduce
zdkdchao·2023-08-03 23:02

mongoDB Map Reduce

1.MapReduceMap-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。
爱笑的书生·2023-08-03 19:16

Hive 安装介绍

其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步可以说hive就是一个MapReduce
叱咤少帅（少帅）·2023-08-03 18:38

大数据之Hadoop-MapReduce（3）

第4章Hadoop数据压缩4.1概述压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。可
jackyan163·2023-08-03 17:32

00-Hadoop入门

入门Hadoop四高1）高可靠性Hadoop底层维护多个数据副本，所有即使hadoop某个计算元素或存储故障，也不会造成数据丢失2）高扩展性在集群间分配任务数据，可方便的扩展数以千计的节点3）高效性在mapreduce
书香恋仁心·2023-08-03 12:53

Apache Flink概述

Flink是构建在数据流之上的一款有状态的流计算框架，通常被人们称为第三代大数据分析方案第一代大数据处理方案：基于Hadoop的MapReduce静态批处理|Storm实时流计算，两套独立的计算引擎，难度大
LJiaWang·2023-08-03 10:15

Spark

基于开源技术地Hadoop分布式框架在行业中地应用十分广泛，但是Hadoop本身还存在诸多缺陷，主要的缺陷是Hadoop的MapReduce分布式框架在计算时延迟过高，无法满足实时，快速的计算需求。
陆卿之·2023-08-02 19:49

大数据学习之Hadoop——09Partitoner分区和Combiner分区

bingque6535Partitioner分区部分转载的是:https://www.cnblogs.com/qingyunzong/p/8584379.html一.Partitioner分区1.Partitioner的作用:进行MapReduce
Jiang锋时刻·2023-08-02 18:22

Spark-Hbase重点知识回顾

HiveHadoopHive和传统关系型数据库区别Spark概念基于内存的分布式计算框架只负责算不负责存spark在离线计算功能上类似于mapreduce的作用MapReduce的缺点运行速度慢（没有充分利用内存
Wzideng·2023-08-02 14:35

大数据课程F1——HIve的概述

2.Hive提供了类SQL(HQL，HiveQL)语句来管理HDFS上的大量数据，底层会将SQL转化为MapReduce来交给Hadoop
伟雄·2023-08-02 09:36

[S001] Hbase > Hbase shell / bulkload > TDH Hyperbase

/hbaseorg.apache.hadoop.hbase.mapreduce.Driverexport表名数据文件位置hbaseorg.apache.hadoop.hbase.mapreduce.Driverexportdata_ca
JeffenCheung·2023-08-02 06:13

Hive数据管理

可以将sql语句转换为MapReduce任务进行运行，作为sql到MapReduce的映射器。
凉意先生·2023-08-02 03:29

Spark 介绍以及相关概念

Spark是UCBerkeley加州大学伯克利AMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点
Alukar·2023-08-01 21:19

大数据中的流计算

流式计算是大数据计算模式之一，之外还有图计算、交互计算，与之常对应出现的批计算，等等…了解流式计算，首先要明确一下数据流的相关背景。
魏小言·2023-08-01 20:15

MapReduce shuffle

而在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。
专职掏大粪·2023-08-01 16:51

《大数据开发》Hive

本质是将SQL语句转换为MapReduce任务执行。离线大数据计算。可以将结构化的数据文件映射成为一张数据库表。
Steve_Abelieve·2023-08-01 12:40

《大数据开发》环境安装

Hadoop环境安装（HDFS-MapReduce）Storm环境安装（Storm）Zookeeper环境安装（Zookeeper）Hbase环境安装（HBase）Hive环境安装（Hive）Kafka
Steve_Abelieve·2023-08-01 12:10

HDFS 分布式存储 spark storm HBase

HDFS分布式存储sparkstormHBase分布式结构masterslavenamenodeclient负责文件的拆分128MB3份datanodeMapReduce分布式计算离线计算2.X之前速度比较慢对比
Wzideng·2023-08-01 12:07

hadoop部署配置

端口名称Hadoop2.xHadoop3.xNameNode内部通信端口8020/90008020/9000/9820NameNodeHTTPUI500709870MapReduce查看执行任务端口80888088
yyyyjinying·2023-08-01 01:23
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他