map-side

【Hive_05】企业调优1（资源配置、explain、join优化）

计算资源配置1.1Yarn资源配置1.2MapReduce资源配置2、Explain查看执行计划（重点）2.1Explain执行计划概述2.2基本语法2.3案例实操3、分组聚合优化3.1优化说明（1）map-side
温欣2030·2023-12-27 18:49

HiveSql语法优化一 ：分组聚合优化

Hive对分组聚合的优化主要围绕着减少Shuffle数据量进行，具体做法是map-side聚合。所谓map-side聚合，就是在map端维护一个hashtable，利用其完成部分的聚合，然后将部分
zmx_messi·2023-12-17 08:38

大数据开发(19)-hash table详解

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦在Map-side聚合中，每个Map任务（mapper）都会维护一个独立的哈希表
viperrrrrrr·2023-11-20 07:36

Scala | Spark性能优化 | 资源调优 | 代码调优 | 数据本地化 | 内存调优 | Spark Shuffle调优 | 数据倾斜 | Spark故障解决

文章目录一、资源调优二、并行度调优三、代码调优1.避免创建重复的RDD2.对多次使用的RDD进行持久化3.持久化算子：4.尽量避免使用shuffle类的算子5.使用map-side预聚合的shuffle
幼稚的人呐·2023-11-17 10:04

spark调优-开发调优

开发调优方式：（1）避免重复的RDD（2）尽可能多的复用一个RDD（3）对多次使用的RDD进行持久化（4）尽量避免使用shuffle类的算子（5）使用map-side预聚合的shuffle操作（combine
qichangjian·2023-11-14 06:12

Spark Job优化

1Map端优化1.1Map端聚合map-side预聚合，就是在每个节点本地对相同的key进行一次聚合操作，类似于MapReduce中的本地combiner。
shangjg3·2023-11-13 08:03

Hive SQL 优化大全（参数配置、语法优化）

文章目录参数配置优化yarn-site.xml配置文件优化mapred-site.xml配置文件优化分组聚合优化——Map-Side优化参数解析优化案例Join优化MapJoin服务器环境说明机器名称内网
月亮给我抄代码·2023-09-02 11:51

数据倾斜优化

数据倾斜解决方式有哪些groupby导致的数据倾斜1.开启Map-Side聚合后，数据会现在Map端完成部分聚合工作。
袁奎·2023-08-30 08:31

Hive-数据倾斜

在计算各省份的GMV时，有可能会发生数据倾斜，解决办法如下：分组聚合预聚合思想map-side（预聚合在map里面）skew-groupby（多个reduce阶段进行汇总）：先对倾斜的key加上随机数，
青云游子·2023-08-02 05:12

Hive优化

分区，分桶避免全局扫描列式存储，加快计算速度采用压缩，减少磁盘IO谓词下推，行列过滤(select*)，列剪裁，CBO优化(对于计算成本的优化，比如join的顺序)开启map-side针对groupby
青云游子·2023-08-02 05:42

【大数据之Hive】二十一、HQL语法优化之分组聚合优化

map-side聚合相关
阿宁呀·2023-07-15 19:26

map-side join 和 reduce-side join

map-sidejoin和reduce-sidejoin是两种常见的数据连接技术，用于在大规模数据处理中合并不同数据集的内容。Map-sidejoin（映射端连接）:在map-sidejoin中，连接操作在数据的映射阶段完成，而不需要在reduce阶段进行额外的连接操作。这种连接方法适用于一个或多个数据集较小且能够完全装载到内存中的情况。以下是map-sidejoin的基本流程：将较小的数据集（通
daladalabao·2023-07-15 04:14

spark 数据倾斜处理

spark优化总结:一、spark代码优六大代码优化:避免创建重复的RDD尽可能复用同一个RDD对多次使用的RDD进行持久化尽量避免使用shuffle类算子使用map-side预聚合的shuffle操作使用高性能的算子广播大变量使用
添柴少年yyds·2023-06-21 00:22

Spark性能优化总结

meituantech，会在此框架上加入个人关注点，目录如下，0.Overview1.开发调优-避免创建重复的RDD-尽可能复用同一个RDD-对多次使用的RDD进行持久化-尽量避免使用shuffle类算子-使用map-side
chenfh5·2021-06-23 02:06

Spark指南——第六章：Spark性能调优——基础篇（1）

）一、前言二、调优概述三、开发调优1.原则一：避免创建重复的RDD2.原则二：尽可能复用同一个RDD3.原则三：对多次使用的RDD进行持久化4.原则四：尽量避免使用shuffle类算子5.原则五：使用map-side
lightupworld·2020-09-09 16:52

【Hive】性能调优 - map-side JOIN

Hive版本:hive-1.1.0-cdh5.14.2概述如果表关联时，有一张表很小，那么可以在大表通过mapper时将小表完全加载到内存中，Hive可以在map端完成关联过程，这就是所谓的map-sideJOIN。使用map-sideJOIN可以省掉常规的reduce过程，从而提升Hive的效率。Hive中有三个和map-sideJOIN相关的参数：参数默认值hive.auto.convert.
NextAction·2020-08-11 20:21

spark 使用aggregateByKey 代替groupbyKey

应为aggregateByKe，使用map-side预聚合的shuffle操作，相当于再map端进行了聚合的操作，相当于mapreduce中进行combiner介绍一下aggregateBykey这个方法这里面一共传了三个参数
记录每一份笔记·2020-08-03 09:25

Groupby语句,GroupBy高级特性

高级使用:多GroupBy插入GroupBy的Map-Side聚合GROUPINGSETSC
陆山右·2020-07-15 07:05

Hive学习(三)操作Hive的方式及优化

的两种方式1、通过Beenline2、通过JDBC二、Hive的优化1、Hive优化的思想：2、优化的方式(1)开启本地模式(2)开启并行计算(3)严格模式(4)Hive排序(5)HiveJoin(6)Map-Side
B&&D·2020-06-26 00:15

spark开发调优

开发调优原则一：避免创建重复的RDD原则二：尽可能复用同一个RDD原则三：对多次使用的RDD进行持久化Spark的持久化级别原则四：尽量避免使用shuffle类算子原则五：使用map-side预聚合的shuffle
miss幸运·2019-12-01 19:52

Spark性能优化

Spark性能优化1）避免创建重复RDD2）尽可能复用同一个RDD3）对多次使用的RDD进行持久化4）尽量避免使用shuffle类算子5）使用map-side预聚合的shuffle操作6）使用高性能的算子
JoshWill·2019-11-29 19:00

Spark优化

目录开发调优对多次使用的RDD进行持久化尽量避免使用shuffle类算子使用map-side预聚合的shuffle操作使用高性能的算子广播大变量使用Kryo优化序列化性能资源调优数据倾斜调优Shuffle
K. Bob·2019-09-15 15:54

数据框架部分总结

spark的优化1.开发调优：1)避免创建重复的RDD2)尽可能复用同一个RDD3)对多次使用的RDD进行持久化4)尽量避免使用shuffle类算子5)使用map-side的预聚合的shuffle6)使用高性能的算子
DeaSun·2019-04-07 23:29

spark实现大数据join操作的两个算法，map-side join和reduce-side join

Map-SideJoinMap-sideJoin使用场景是一个大表和一个小表的连接操作，其中，“小表”是指文件足够小，可以加载到内存中。该算法可以将join算子执行在Map端，无需经历shuffle和reduce等阶段，因此效率非常高。在HadoopMapReduce中，map-sidejoin是借助DistributedCache实现的。DistributedCache可以帮我们将小文件分发到各
千淘万漉·2018-10-23 18:02

Spark优化(六)：使用高性能的算子

详情见“Spark优化(五)：使用map-side预聚合的shuffle操作”。使用mapPartitions替代普通map。
Winner941112·2018-09-29 17:33

Spark优化(五)：使用map-side预聚合的shuffle操作

使用map-side预聚合的shuffle操作如果因为业务需要，一定要使用shuffle操作，无法用map类的算子来替代，那么尽量使用可以map-side预聚合的算子。
Winner941112·2018-09-29 17:43

Spark优化----开发调优(下)

上次讲到避免使用shuffle类算子，接下来继续5、使用map-side预聚合的shuffle操作如果因为业务需要，一定要使用shuffle操作，无法用map类的算子来替代，那么尽量使用可以map-side
利伊奥克儿·2017-09-02 10:43

hive map-side join

hive在map端进行连接的过程叫map-sidejoin,应为hive可以和内存中的小表进行逐一匹配，进而可以省略掉常规操作的reduce过程。hive启动map-sidejoin需要把参数hive.auto.convert.join参数设置为turehive>sethive.auto.convert.join;hive.auto.convert.join=trueTimetaken:81.27
青青水草·2017-04-27 10:10

Spark性能优化指南——基础篇

from=timeline前言开发调优调优概述原则一：避免创建重复的RDD原则二：尽可能复用同一个RDD原则三：对多次使用的RDD进行持久化原则四：尽量避免使用shuffle类算子原则五：使用map-side
XIAO的博客·2016-11-11 20:00

Apache Spark探秘：实现Map-side Join和Reduce-side Join

ApacheSpark探秘：实现Map-sideJoin和Reduce-sideJoinCategory: Frameworks(Spark)OnYARN View:13,756 Author:Dong作者:Dong | 新浪微博：西成懂 | 可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明网址:http://dongxicheng.org/framework-on-yarn/ap
江中炼·2015-12-23 17:00

[Hive - LanguageManual] GroupBy

Select statement and group by clause Advanced Features Multi-Group-By Inserts Map-side
·2015-11-11 16:39

hive Map-side Aggregation OOM 异常

在Hive的执行计划优化中也是如此，默认情况下会开启Map-side Aggregation优化的功能。 &nb
bimoziyan0·2015-07-02 13:00

Hive优化

select*where语句中只有分区字段二、Jion优化驱动表最右边查询表表的大小从左边到右边依次增大标志机制显示的告知查询优化器哪张表示大表/*+streamtable(table_name)*/三、Map-side
超人学院·2015-06-12 16:00

【Spark六十四】Spark实现join功能

Spark的mailing list有人问道，Spark面试的话，一般会问些什么，有个人回复时提到他面试时一般会问问如何做join 2.今天看了个博客，刚好讲到spark实现大数据join操作的两个算法，map-side
bit1129·2015-02-15 21:00

【Spark六十四】Spark实现join功能

Spark的mailing list有人问道，Spark面试的话，一般会问些什么，有个人回复时提到他面试时一般会问问如何做join 2.今天看了个博客，刚好讲到spark实现大数据join操作的两个算法，map-side
bit1129·2015-02-15 21:00

Out of memory due to hash maps used in map-side aggregation解决办法

在运行一个groupby的sql时，抛出以下错误信息：Taskwiththemostfailures(4): -----TaskID: task_201411191723_723592_m_000004URL: http://DDS0204.dratio:50030/taskdetails.jsp?jobid=job_201411191723_723592&tipid=task_201411191
oDaiLiDong·2015-01-28 16:00

Hive ERROR: Out of memory due to hash maps used in map-side aggregation .

在执行大数据量的统计查询语句时，经常会出现下面OOM错误，具体错误提示如下：   Possible error: Out of memory due to hash maps used in map-side
·2014-07-18 10:00

Hive ERROR: Out of memory due to hash maps used in map-side aggregation

当hive在执行大数据量的统计查询语句时，经常会出现下面OOM错误，具体错误提示如下：Possibleerror:Outofmemoryduetohashmapsusedinmap-sideaggregation. Solution:Currentlyhive.map.aggr.hash.percentmemoryissetto0.5.Trysettingittoalowervalue.i.e'
xyls12345·2014-05-09 18:00

[半转]遇到Map-side Aggregation OOM 异常

阅读更多原文来自：http://blog.csdn.net/macyang/article/details/9260777通读了一下，进行翻译：在MapReducejob下面，有个Combiner，工作机制是将Reducer的工作分担一部分给Map阶段来做。在Hive的执行计划优化中也是如此，默认情况下会开启Map-sideAggregation优化的功能。selectdistinctidfrom
dacoolbaby·2013-12-03 15:00

[半转]遇到Map-side Aggregation OOM 异常

在Hive的执行计划优化中也是如此，默认情况下会开启Map-side Aggregation优化的功能。
dacoolbaby·2013-12-03 15:00

MapReduce Algorithm - Another Way to Do Map-side Join

Map-sidejoinisalsoknownasreplicatedjoin,andgetsisnamefromthefactthatthesmallestofthedatasetsisreplicatedtoallthemaphosts.YoucanfindaimplementationinHadoopinAction.Anotherimplementationisusing Composit
sunwinner·2013-07-25 17:00

MapReduce Algorithm - Map-side Join

Writing code to do joins from scratch is fairly involved. Rather than writing MapReduce programs you might consider using a higher level framework such as Pig, Hive or Cascading, in which join operati
sunwinner·2013-07-03 21:00

MapReduce之Join操作(4)

半连接(semijoin)       之前已经讨论了reduce-side join和map-side join(replicated
bjyjtdj·2012-03-16 15:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他