【MapReduce】

hive(一)：hive概述

2）Hive本质：将HQL转化成MapReduce程序（1）Hive处理的数据存储在HDFS（2）Hive分析数据底层的实现是MapReduce（3）执行程序运行在Ya
Tuzki眯眼看世界·2023-08-11 02:28

hive中集成hadoop3MapreduceNativeTask功能

jql=text%20~%20%22HiveKey%20writableutils%22这里我们需要做两个改动：第一个改动：需要修改hadoop-mapreduce-client-nativetask工程下
ThomasgGx·2023-08-10 18:50

MapReduce原理入门（附源码解析）

序言本篇旨在介绍MapReduce的原理及实现细节，一些核心步骤会附带源码解析。MapReduce是配合HDFS产生的，HDFS负责分布式存储，MapReduce负责分布式计算。
柏拉图学院·2023-08-10 18:19

搭建一个高可用的Zookeeper环境

根据MapReduce，于是我们有了Hadoop；根据GFS，于是我们有了HDFS；根据BigTable，于是我们有了HBase；而在这三篇论文里都提及Google的一个lockservice---Chubby
Vernon·2023-08-10 11:30

数据分析课程笔记 - 19 - HiveSQL 常用优化技巧

由于Hive主要用来处理非常大的数据，运行过程由于通常要经过MapReduce的过程，因此不像MySQL一样很快出结果。
爱学习的ai酱·2023-08-10 09:57

Hadoop 基础【原理 + 实践】

文章目录学习路线参考文章一、Hadoop概述1.Hadoop介绍2.Hadoop组成3.HDFS概述4.YARN概述5.MapReduce概述二、Hadoop安装1.Hadoop运行模式1.1本地单例模式
喵王叭·2023-08-10 09:49

MapReducer之Map输入

在整个MapReducer阶段中，Map输入的文件，Reducer输出的文件都是存储在分布式文件系统中，但是Map任务处理的中间结果需要保存在本地磁盘，所以Map阶段需要考虑数据的局限性（即计算向数据靠拢
末央酒·2023-08-09 22:47

Trino开荒

但Hive使用MapReduce作为底层计算框架，是专为批处理设计的。但随着数据越来越多，使用Hive进行一个简单的数据查询可能要花费几分到几小时，显然不能满足
oifengo·2023-08-09 19:39

大数据入门之Presto/Trino

Presto是由Facebook开发的分布式sql查询引擎，用来进行高速、实时的数据查询Presto的产生是为了解决Hive的MapReduce模型太慢且不能通过BI等工具展现HDFS的问题Presto
Frank范·2023-08-09 19:39

【Hadoop-HDFS压测】针对HDFS进行读写性能测试

【Hadoop-HDFS压测】针对HDFS进行读写性能测试1）测试工具2）写入数据测试3）读取数据测试4）清除数据1）测试工具Hadoop自身集成的工具包：hadoop-mapreduce-client-jobclient
bmyyyyyy·2023-08-09 08:53

Hadoop之MapReduce实现原理-基础篇

Hadoop之MapReduce实现原理-基础篇文章目录Hadoop之MapReduce实现原理-基础篇一、基础篇1.MR设计目标2.MR编程模型3.MR基本架构1.MapTask执行过程2.ReduceTask
数据的小伙伴·2023-08-09 08:39

Ambari架构源码解析【转载】

Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。
岁月的眸·2023-08-09 01:31

结合 Apache Hive 和 Druid 实现高速 OLAP 查询

image.pngHadoop生态中，我们使用Hive将SQL语句编译为MapReduce任务，对海量数据进行操作；Druid则是一款独立的分布式列式存储系统，通常用于执行面向最终用户的即席查询和实时分析
无敌的肉包·2023-08-08 17:14

CDH6.3.2 启用Kerberos 认证

完成此操作后，这些用户可以访问资源（例如文件或目录）或与集群交互（如运行MapReduce作业）。
格格巫 MMQ!!·2023-08-08 13:24

mapreduce

MapReduce程序内部数据处理流程全解析https://blog.csdn.net/aA518189/article/details/80020857MapReduce核心原理与使用https://
在路上很久了·2023-08-08 13:08

hadoop Java API 比较python 下的hadoop streaming

javaapi来运行mapreduce程序1首先需要搭建一个hadoop集群。
sadamu0912·2023-08-08 11:23

Google分布式系统三大论文解析

毫无疑问，Google是在这一领域的开山鼻祖，为往圣继绝学，作者将重温Google在分布式系统领域的三大经典论文——GFS、MapReduce、BigTable。
知春路SpideMan·2023-08-08 11:13

分布式学习前瞻

1.概念分布式首先要关注如下几方面：一是分布式系统计算框架，二是分布式存储，三是分布式服务协调组织，四是分布式概念本身计算框架：目前来说基本上都是基于MapReduce的，可以说是开山鼻祖，后来为了处理更多其他的场景所面临的的问题
Kevin照墨·2023-08-08 11:42

MIT 6.824 -- MapReduce -- 01

MIT6.824--MapReduce--01引言抽象和实现可扩展性可用性(容错性)一致性MapReduceMap函数和Reduce函数疑问课程b站视频地址:MIT6.824DistributedSystemsSpring2020
Binary Oracle·2023-08-07 10:06

MapReduce基础原理、MR与MPP区别

MapReduce概述MapReduce（MR）本质上是一种用于数据处理的编程模型；MapReduce用于海量数据的计算，HDFS用于海量数据的存储（HadoopDistributedFileSystem
偷偷学习被我发现·2023-08-07 08:04

HCatalog教程_编程入门自学教程_菜鸟教程-免费教程分享

教程简介HCatalog使用了Hive的元数据存储，这样就使得像MapReduce这样的第三方应用可以直接从Hive的数据仓库中读写数据。
IT民工爱搬砖·2023-08-07 08:55

Yarn是个什么玩意

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序。
乌拉乌拉儿·2023-08-06 22:04

spark SQLHadoopMapReduceCommitProtocol中mapreduce.fileoutputcommitter.algorithm.version选择1还是2

背景本文基于spark3.1.1对于spark来说默认的mapreduce.fileoutputcommitter.algorithm.version是1这个在SparkHadoopUtil.scala
鸿乃江边鸟·2023-08-06 19:22

HIVE学习

大白话:HIVE就是一个类似于Navicat的可视化客户端,2.HIVE本质Hive是一个Hadoop客户端，用于将HQL（HiveSQL）转化成MapReduce程序。
叫我莫言鸭·2023-08-06 07:40

Hive执行引擎的区别

执行引擎Tez、Spark和MapReduce都是用于在大数据处理中执行任务的框架或引擎，它们在性能、优化、适用场景等方面有一些区别。
Matthew117·2023-08-06 06:43

Hive并行执行

这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。
Matthew117·2023-08-06 06:42

Spark_Core---1

2、为什么要学习sparkMapReduce框架局限性1，Map结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据2，任务调度和
Wzideng·2023-08-06 04:49

HDFS中的sequence file

提供的一种二进制文件存储格式一条数据称之为record（记录），底层直接以键值对形式序列化到文件中优缺点优点二进制格式存储，比文本文件更紧凑支持不同级别压缩（基于record或block压缩）文件可以拆分和并行处理，适用于MapReduce
fiveym·2023-08-06 03:53

Hadoop MapReduce编程创建maven项目时所用到的pom依赖

junitjunit3.8.1testorg.apache.hadoophadoop-common2.6.0org.apache.hadoophadoop-client2.6.0org.apache.hadoophadoop-hdfs2.6.0jdk.toolsjdk.tools1.7system${JAVA_HOME}/lib/tools.jar
雨田示韦非文·2023-08-06 01:37

大数据工程师常见4大面试问题

RDD中reduceBykey与groupByKey哪个性能好，为什么reduceByKey：reduceByKey会在结果发送至reducer之前会对每个mapper在本地进行merge，有点类似于在MapReduce
kuntoria·2023-08-06 00:02

大数据之Hive

本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的默认实现是MapReduce3）执行程序运行在Yarn上1.2Hi
不如打代码·2023-08-05 22:18

Hadoop Multi Node Cluster的安装

HadoopMultiNodeCluster的规划如图5-1所示：由多台电脑组成:有一台主要的电脑master，在HDFS担任NameNode角色，在MapReduce2(YARN)担任ResourceManager
qclonle·2023-08-05 17:50

hadoop中MapReduce工作机制

在MapReduce整个过程可以概括为以下过程：输入-->map-->shuffle-->reduce-->输出输入文件会被切分成多个块，每一块都有一个maptaskmap阶段的输出结果会先写到内存缓冲区
MOOJ·2023-08-05 17:13

Spark、RDD、Hive 、Hadoop-Hive 和传统关系型数据库区别

HiveHadoopHive和传统关系型数据库区别Spark概念基于内存的分布式计算框架只负责算不负责存spark在离线计算功能上类似于mapreduce的作用MapReduce的缺点运行速度慢（没有充分利用内存
Wzideng·2023-08-05 15:22

《Hadoop权威指南》学习笔记（1）——初始Hadoop及了解MapReduce

注：因为Hadoop中的代码实现用java较为方便，并且书中代码用java实现的解释较为容易理解，所以，在博客中的代码实现均会使用java。第1章初识Hadoop我们为什么需要Hadoop我们生活在一个数据爆炸的时代，现代每天产生的数据量甚至要超过从商周到清代产生的数据的总和。在这样一个时代，数据即是机遇，如何存储更多的数据，如何快速的对数据进行分析提取，就成了一个无法避免的问题。此外，我们注意到
啜晓伟·2023-08-05 13:08

《Hadoop权威指南》学习笔记（4）——关于YARN

YARN运行在集群存储层（HDFS和HBase）上，一些分布式计算框架（如MapReduce和Spark等）作为YARN应用运行在集群计算层（YARN）和集群存储层上。
啜晓伟·2023-08-05 13:08

golang使用泛型实现mapreduce操作

1.使用面向对象的方式写packagestreamimport("fmt""log""reflect""sort""strconv""strings")typeStream[Tany]struct{data[]TkeyBystringsortByNumstringsortByStr[]string}funcFromElement[Tany](data[]T)*Stream[T]{return&St
我终于有blog了·2023-08-05 06:09

Hadoop知识点总结

1.MapReduce中Shuffle的执行流程是什么样的？
ZhaoXiangmoStu·2023-08-05 06:18

六万字！Spark Core、Spark SQL、Spark Streaming一锅端

介绍特点与MapReduce相比技术栈二、Spark架构运行架构核心组件三、SparkCoreRDD概念特性RDD依赖关系DAG分区Shuffle过程RDD创建方式算子常用的转换算子(Scala版)常用的转换算子
菜鸟也学大数据·2023-08-05 02:16

join

selecta.,b.fromajoinbona.id=b.idinterview:描述如何使用MapReduce来实现join的功能考察点：1）MapReduce执行流程2）JOIN的底层执行过程3）
V_6619·2023-08-05 01:54

hive底层与数据库交互原理

一、Hive到底是什么image.png如何理解Hive（1）从概念上来看->Hive是基于Hadoop的一个数据仓库工具；它是MapReduce的一个封装，底层就是MapReduce程序；->Hive
VincentLeon·2023-08-04 19:09

四、Yarn

刚开始MapReduce框架是包含MapReduce和资源调度的，也就是说MapReduce与资源调度耦合在一起。
阿文灬·2023-08-04 19:21

Spark RDD详解

它旨在执行批处理(类似于MapReduce)和提供新的工作特性，例如流计算，SparkSQL交互式查询
丿沐染烟忱丶·2023-08-04 18:03

Hadoop简介和集群搭建测试(一)

的优势有四高：(1)高可用:Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失(2)高扩展:在集群间分配任务数据，可方便的扩展数以千计的节点(3)高效性:在MapReduce
modi_2020·2023-08-04 08:33

sqoop

.x)不兼容，sqoop2并没有生产的稳定版本，Sqoop1import原理(导入)从传统数据库获取元数据信息（schema、table、field、fieldtype）,把导入功能转换为只有Map的Mapreduce
zdkdchao·2023-08-03 23:02

mongoDB Map Reduce

1.MapReduceMap-Reduce是一种计算模型，简单的说就是将大批量的工作（数据）分解（MAP）执行，然后再将结果合并成最终结果（REDUCE）。
爱笑的书生·2023-08-03 19:16

Hive 安装介绍

其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步可以说hive就是一个MapReduce
叱咤少帅（少帅）·2023-08-03 18:38

大数据之Hadoop-MapReduce（3）

第4章Hadoop数据压缩4.1概述压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。可
jackyan163·2023-08-03 17:32

00-Hadoop入门

入门Hadoop四高1）高可靠性Hadoop底层维护多个数据副本，所有即使hadoop某个计算元素或存储故障，也不会造成数据丢失2）高扩展性在集群间分配任务数据，可方便的扩展数以千计的节点3）高效性在mapreduce
书香恋仁心·2023-08-03 12:53

Apache Flink概述

Flink是构建在数据流之上的一款有状态的流计算框架，通常被人们称为第三代大数据分析方案第一代大数据处理方案：基于Hadoop的MapReduce静态批处理|Storm实时流计算，两套独立的计算引擎，难度大
LJiaWang·2023-08-03 10:15
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他