Mapreduce

hive数据调优

在使用hive进行数据查询时，底层执行引擎主要是MapReduce，而MapReduce流程加工处理期间有数据落盘情况，会浪费大量时间，接下来整理下hive是如何确定map和reduce数量及相关优化方法
稻草人_d41b·2023-08-27 16:59

Hadoop之HDFS简介

Hadoop有3大核心组件，分别是HDFS、MapReduce和YARN，本次我们重点介绍HDFS。一、HDFS简介HDFS全称HadoopDistributedFileSystem，是一个分布
数新网络·2023-08-27 10:18

关于hive sql进行调优的理解

hive其实是基于hadoop的数据库管理工具，底层是基于MapReduce实现的，用户写的hivesql最终转换成MapReduce的任务运行在hadoop上，不过MapReduce会因为磁盘IO的问题会运行较慢
世润·2023-08-27 07:59

【大数据】图解 Hadoop 生态系统及其组件

图解Hadoop生态系统及其组件1.HDFS2.MapReduce3.YARN4.Hive5.Pig6.Mahout7.HBase8.Zookeeper9.Sqoop10.Flume11.Oozie12
G皮T·2023-08-27 05:27

机器学习及其matlab实现竞争神经网络与SOM神经网络进阶与提高视频教程

机器学习及其matlab实现竞争神经网络与SOM神经网络进阶与提高视频教程大数据，云计算，架构，数据分析师，Hadoop，Spark，Storm，Docker，Mapreduce，Kafka，Flume
平蝶与波澜·2023-08-27 01:56

大数据之Spark（5）- SparkSql

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spar
jackyan163·2023-08-26 14:07

YARN资源管理框架论述

一、简介为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。
Hello.Reader·2023-08-26 14:24

PyCharm整合Hive并通过SparkSQL执行引擎去操作Hive表

每一列是什么类型，以及表的数据保存在hdfs的什么位置执行HQL时，先到MySQL元数据库中查找描述信息，然后解析HQL并根据描述信息生成MR任务，简单来说Hive就是将SQL根据MySQL中元数据信息转成MapReduce
小柒心得·2023-08-26 09:18

hadoop原理和细节

一、Hadoop概述Hadoop是Google的集群系统开源实现Google的集群系统：GFS、MapReduce、BigTableHadoop的集群系统：HDFS、MapReduce、HBaseHadoop
truezqx·2023-08-26 05:18

Hive面试自学版

Hive是一个基于Hadoop的数据仓库工具，可以将结构化数据文件映射为一张表，同时可以将H-SQL语句转化为MapReduce程序在集群上运行。
叫我莫言鸭·2023-08-26 04:30

HIVE 调优—— hive.fetch.task.conversion

Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。启用MapReduceJob是会消耗系统开销的。
Q以梦为马·2023-08-26 04:09

大数据——spark一文全知道

1、spark概述spark是专为大规模数据处理而设计的快速通用计算引擎，与Hadoop的MapReduce功能类似，但它是基于内存的分布式计算框架，存储还是采用HDFS。
AIGC人工智残·2023-08-25 16:20

大数据-Hive

2）Hive本质Hive是一个Hadoop客户端，用于将HQL（HiveSQL）转化成MapReduce程序。
ONLYYD·2023-08-25 13:27

大数据课程K7——Spark的容错&&缓存&&Checkpoint

Spark以前的集群容错处理模型，像MapReduce，将计算转换为一个
伟雄·2023-08-25 10:32

hadoop yarn 报错 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeManager: RECEIVED SIGNAL

运行简单的样例程序报错bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jargrepinputoutput'dfs
gs80140·2023-08-25 07:21

【分布式系统】前言

现在的心得如下：不知道啥时候能破解哈～～内容包括部分6.824+读的论文+DDIA：DDIAmapreduceGFSVMwareFTRaftzookeeperchainreplication（CR）和CRAQtime
kkzz1x·2023-08-25 07:29

全面解析流式大数据实时处理技术、平台及应用

Hadoop技术体系实现并优化了MapReduce框架。Hadoop技术体系主要
丨程序之道丨·2023-08-24 22:59

Google MapReduce小记

MapReduce的本质可以说是一个模型，一个进行任务分割和结果汇总的模型。其高明之处在于使用于分布式并行计算，将大量的计算资源进行整合调配。
米切尔·2023-08-24 15:12

MongoDB学习（五）：聚合、管道与MapReduce

目录一.聚合&管道1.操作2.例子3.提高管道性能二.Map/Reduce聚合是MongoDB的高级查询框架，实际上在MySQL等关系数据库中，也有GROUPBY这样的类似功能。其主要作用是，从多个文档中提取、转换和整合数据，形成新的信息，可以用来发现文档间的一些关系，或者挖掘单个文档不具备的信息。例如，春节快到了，如果一家商店的店长想统计每月销售额、每种商品销售额、整年销售额，就必须以时间或商品
hbyangland·2023-08-24 05:05

黑猴子的家：MapReduce核心思想

分布式的运算程序往往需要分成至少2个阶段2）第一个阶段的maptask并发实例，完全并行运行，互不相干3）第二个阶段的reducetask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有maptask并发实例的输出4）MapReduce
黑猴子的家·2023-08-24 01:55

大数据处理技术导论（8） | Datawhale组队学习46期

10.1.4简述Spark宽窄依赖10.1.5Hadoop和Spark的相同点和不同点10.1.6Spark为什么比MapReduce快？
mba1398·2023-08-23 20:35

最详细的大数据之Hadoop分布式系统架构解析！没有之一！

HDFS（对于本文）的上一层是MapReduce引擎，该引擎由JobTrackers和TaskTrackers组成。
大数据学习01·2023-08-23 18:22

腾讯大佬三年大制作，大数据Hadoop和Spark的大集合

本书围绕Hadoop和Spark这两个主流技术进行讲解，主要内容包括Hadoop环境配置、分布式文件系统HDFS、分布式计算框架MapReduce、资源调度框架YARN与Hadoop新特性、大数据数据仓库
金光闪闪耶·2023-08-23 15:47

Hive3新特性

1.执行引擎变更：TEZ不用支持缓慢过时的MapReduce了，14年测试时TEZ比ＭapReduce快100%。
clive0x·2023-08-23 13:20

途牛科技与火山引擎数智平台合作 打造企业大数据系统“降本”新范式

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群近日，南京途牛科技有限公司与火山引擎数智平台（VeDI）的合作获得新进展：途牛大数据系统全面迁移至火山引擎开源大数据平台E-MapReduce
·2023-08-23 12:52

大数据平台架构及主流技术栈

Google的三篇论文GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。
飞鸡起飞·2023-08-23 11:06

大数据架构师之路

这个方法被称作Lambda架构，它通过批量MapReduce作业提供了虽有些延迟但是结果准确的计算，同时通过flink/Storm将最新数据的计算结果初步展示出来。
laogooooog·2023-08-23 11:04

大数据——一文熟悉HBase

Hadoop在已经有一个Hive+MapReduce结构的数据读写功能，为什么还要HBase呢？
AIGC人工智残·2023-08-23 11:02

Hadoop支持LZO压缩

在Hadoop生态系统中，LZO压缩通常用于HadoopMapReduce作业的输入和输出数据，以减少存储空间和数据传输的开销。
贾斯汀玛尔斯·2023-08-23 07:32

Spark 与 Flink 的演进与区别（上）

“Hadoop中的计算框架MapReduce的基本思想。
zhouyanjun_·2023-08-23 05:48

后Hadoop时代的大数据架构

适合处理非结构化数据，包括HDFS，MapReduce基本组件。HDFS：提供了一种跨服务器的弹性数据存储系统。
juan188·2023-08-23 05:46

HDP3.1测试

1：TestDFSIO测试HDFS的IO性能写入：hadoopjar/usr/hdp/3.1.4.0-315/hadoop-mapreduce/hadoop-mapreduce-client-jobclient
docsz·2023-08-23 00:14

LeetCode 刷题集 - 分治、回溯、贪心、二分查找、BFS、DFS(3)

分治算法：谈一谈大规模计算框架MapReduce中的分治思想回溯算法：从电影《蝴蝶效应》中学习回溯算法的核心思想深度和广度优先搜索：如何找出社交网络中的三度好友关系？
Jacob6666·2023-08-22 19:45

大数据 Haddoop（二） 架构与原理

Haddoop架构与原理Hadoop架构架构概述Hadoop经典版本架构HadoopV1.0核心：HDFSMapReduceHadoopV2.0，引入了Yarn。
傅二毛·2023-08-22 17:45

全链路数据湖开发治理解决方案2.0重磅升级，全面增强数据入湖、调度和治理能力

解决方案包含开源大数据平台E-MapReduce(EMR)，一站式大数据数据开发治理平台DataWorks，数据湖构建DLF，对象存储OSS等核心产品。
·2023-08-22 10:13

Hadoop分布式计算与资源调度：打开专业江湖的魔幻之门

文章目录版权声明一分布式计算概述1.1分布式计算1.2分布式（数据）计算模式1.3小结二MapReduce概述2.1分布式计算框架-MapReduce2.2MapReduce执行原理2.3小结三YARN
缘友一世·2023-08-22 07:45

浅谈Spark的RDD、部署模式

RDD解决了MapReduce在数据共享方面的缺点。当重用数据进行计算时，MapReduce需要写入外部存储（HD
编程小白呀·2023-08-22 03:08

大数据hadoop 新手快速入门经典视频教程

视频下载地址：http://demo.liuy88.cn/jp1185.html第一天hadoop的基本概念伪分布式hadoop集群安装hdfsmapreduce演示01-hadoop职位需求状况.avi02
艾希MR·2023-08-22 03:20

Hive的计算引擎，你知道哪几种？

大家enjoy~~Hive支持MapReduce、Tez和Spark三种计算引擎。一、MapReduceMR运行的完整过程：Map在读取数据时，先将数据拆分成若干数据，并读取到Map方法中被处理。
晓之以理的喵~~·2023-08-21 21:45

Hive-架构、执行

本质--SQL解析，将HQL转为MapReduce执行过程。底层的执行引擎有：MapReduce、Tez、Spark一、hive架构组件C/S模式。
风止_·2023-08-21 21:15

Hive的执行引擎Tez、spark出现的问题

HiveonTez中，切换成mr引擎出现以下问题：hadoop版本为2.7.3tez版本为0.9.1因为tez安装目录中应该有hadoop-mapreduce-client-core、hadoop-mapreduce-client-common
cuichunchi·2023-08-21 21:45

Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Error:Couldnotfindorloadmainclassorg.apache.hadoop.mapreduce.v2.app.MRAppMasterPleasecheckwhetheryouretc
香蕉弦定李·2023-08-21 17:06

yarn伪分布式配置，运行一个

进入/etc/hadoop下复制mapred-site.xml.templatecpmapred-site.xml.templatemapred-site.xml；然后加入mapreduce.framework.nameyarn
Ace_Wang·2023-08-21 12:19

【2019-07-17】discp拷贝文件失败

19/07/1511:35:29INFOmapreduce.Job:TaskId:attempt_1562833599927_0815_m_000010_0,Status:FAILEDApplicationapplication
学师大术·2023-08-21 05:25

大数据hadoop生态体系之MapReduce快速入门(11)

MapReduce：分布式计算系统，hadoop的三大核心功能之一。
welun·2023-08-21 02:55

Hadoop之MapReduce介绍整理

Hadoop之MapReduce介绍整理什么是批处理在了解MapReduce之前，需要了解批处理的概念，批处理模式是一种最早进行大规模数据处理的模式。
王亭_666·2023-08-21 02:39

MapReduce介绍

目录一、什么是MapReduce二、MapReduce的设计思想2.1分而治之2.2构建抽象模型：Map和Reduce2.3隐藏系统层细节三、MapReduce的框架原理3.1MRv1工作原理3.1.1MRv1
夜夜流光相皎洁_小宁·2023-08-21 02:08

Hbase的核心概念、架构、写逻辑详细讲解！

HDFS为Hbase提供可靠的底层数据存储服务，MapReduce为Hbase提供高性能的计算能力，Zookeeper为Hbase提供稳定服务和Failover机制，因此我们说Hbase是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案
套马杆的程序员·2023-08-20 16:08

日志清洗案例

输入数据实现代码:编写LogMapperpackagecom.itstar.mapreduce.weblog;importjava.io.IOException;importorg.apache.hadoop.io.LongWritable
在远方的你等我·2023-08-20 16:16

6.824分布式系统[2]-GFS案例学习

准备工作阅读：GFS论文背景GFS是Google在2003年发出的经典论文，其作为分布式文件系统,实际应用在Google的MapReduce框架实现中,作为原始数据和最终结果存储的基础服务。
唯识相链2·2023-08-20 11:49
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他