数据倾斜

Hive数据倾斜之参数设置

如何在开发ETL过程中，设置参数，或者不设置参数，跟依赖的mapreduce平台之间是什么关系？dfs.block.size决定HDFS文件block数量的多少(文件个数),它会间接的影响JobTracker的调度和内存的占用(更影响内存的使用),mapred.map.tasks.speculative.execution=truemapred.reduce.tasks.speculative.e
anglia熊·2021-06-22 21:16

HIVE生成数字全局唯一键ID

数据量比较大会产生数据倾斜。
weixin_42412645·2021-06-17 20:17

解决Spark数据倾斜(一) 分散同一Task的不同Key

分散同一Task的不同Key本文结合实例分析了通过调整并行度和使用自定义Partitioner缓解Spark数据倾斜的原理与适用场景。
王知无·2021-06-14 22:12

sparks 中数据倾斜的大坑

这两天弄训练数据的时候碰到了一个大坑本来数据集就比较大，在划训练样本的时候，训练样本的分布就出现了不均匀的情况（有的parition多，有的少），主要的症状体现在200个parition的dataframe，前面190个task都run的飞快，剩下10个task，处理的一个比一个慢。点开每个task的inputdatasize，就会发现很多parition都是空的，或者只有几KB，在run的tas
NatsuYori·2021-06-14 08:12

Hive与优化方法

与数据库的比较四、Hive中一些重要的概念4.1内部表和外部表4.2分区表4.3Hive排序关键字4.4Hive分桶4.5三种排序窗函数的区别五、Hive调优5.1部分场景下尽可能避免启用MR5.2表的优化5.3数据倾斜优化
oahaijgnahz·2021-06-11 17:05

Spark性能优化指南——高级篇

前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。
Yezhiwei·2021-06-11 01:35

大数据之HIVE的优化

理解hadoop的核心能力，是hive优化的根本长期观察Hadoop处理数据的过程，有几个显著的特征：1.不怕数据多，就怕数据倾斜。
TOTinker·2021-06-09 23:35

GaussDB(DWS)发生数据倾斜不要慌，一文教你轻松获取表倾斜率

本文分享自华为云社区《GaussDB(DWS)发生数据倾斜不要慌，一文教你轻松获取表倾斜率》，原文作者：SeqList。GaussDB(DWS)是MPP并行架构，若表的数据存在倾斜情况
华为云·2021-06-08 11:52

Hive底层原理：explain执行计划详解

SI`XIN】【不想排版，不想排版，不想排版】理论本节将介绍explain的用法及参数介绍HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive调优，排查数据倾斜等很有帮助使用语法如下
天上的小仙女呀·2021-06-07 09:45

DataSkew —— 数据倾斜问题解析及解决方案实践总结小记

文章目录什么是数据倾斜数据倾斜的现象Hadoop中的数据倾斜Spark中的数据倾斜Hive中的数据倾斜数据倾斜产生的原因Hive数仓为何会出现DateSkewSpark为何会出现DateSkew数据倾斜的原因
扫地增·2021-06-05 12:31

阿里、字节offer收割系列：数据倾斜！（面试真题，建议收藏）

offer收割系列介绍：1、分享桥哥本人或小伙伴在面试大厂时遇到的真题，并给出参考答案！！如果能帮到大家，点赞、收藏、评论是对我最大的支持！！2、涉及岗位：主要为大数据开发、数据仓库（桥哥干过的），其它岗位也可参考3、涵盖技术：mysql、hadoop、hive、Spark、Flink、Kudu、Impala等...推荐阅读：★数据仓库专栏：数仓方法论、实战经验、面试真题（https://blog
明月十四桥·2021-05-26 10:33

阿里、字节offer收割系列：数据倾斜！（面试真题，建议收藏）

offer收割系列介绍：1、分享桥哥本人或小伙伴在面试大厂时遇到的真题，并给出参考答案！！如果能帮到大家，点赞、收藏、评论是对我最大的支持！！2、涉及岗位：主要为大数据开发、数据仓库（桥哥干过的），其它岗位也可参考3、涵盖技术：mysql、hadoop、hive、Spark、Flink、Kudu、Impala等...推荐阅读：★数据仓库专栏：数仓方法论、实战经验、面试真题（https://blog
明月十四桥·2021-05-24 12:53

大数据面试通关手册 | Hive面试题之4万字基础调优面试小总结

本文基本涵盖以下内容：一、基于Hadoop的数据仓库Hive基础知识二、HiveSQL语法三、Hive性能优化四、Hive性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一)七、
王知无(import_bigdata)·2021-05-23 18:51

提效 7 倍，Apache Spark 自适应查询优化在网易的深度实践及改进

AQE包含动态分区合并、Join数据倾斜自动优化、动态Join策略
NetEaseResearch·2021-05-21 18:30

Spark 数据倾斜的解决办法

Spark数据倾斜的解决办法调优概述转载：http://blog.csdn.net/lw_ghy/article/details/51419877有的时候，我们可能会遇到大数据计算中一个最棘手的问题——
raincoffee·2021-05-20 09:28

黑猴子的家：Hive 数据倾斜优化之 复杂文件增加map数

当input的文件都很大，任务逻辑复杂，map执行非常慢的时候，可以考虑增加Map数，来使得每个map处理的数据量减少，从而提高任务的执行效率。增加map的方法为：根据computeSliteSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M公式，调整maxSize最大值。让maxSize最大值低于blocksize
黑猴子的家·2021-05-18 22:55

hive sql优化实例

Hive中SQL的优化技巧，核心思想是避免数据倾斜。
大数据技术进阶·2021-05-18 09:53

Spark数据倾斜解决方案2

解决方案一：使用HiveETL预处理数据方案适用场景：导致数据倾斜的是Hive表。
liuzx32·2021-05-12 02:06

##[优化]hive优化总结

1.不怕数据多，就怕数据倾斜。比分别过滤数字id,字符串id然后分别和商品表关联性能要好。这样写的好处,1个MR作业,商品表只读取一次，推广效果表只读取一次。把这个sql换
葡萄喃喃呓语·2021-05-06 02:05

Day13:Hive优化及数据倾斜

知识点01：回顾知识点02：目标知识点03：Hive函数：多行转多列知识点04：Hive函数：多行转单列知识点05：Hive函数：多列转多行知识点06：Hive函数：多列转单行知识点07：Hive函数：反射函数知识点08：Hive函数：Python脚本知识点09：Hive函数：JSON处理知识点10：Hive函数：窗口聚合函数知识点11：Hive函数：窗口位置函数知识点12：Hive函数：窗口分析
保护胖丁·2021-05-05 22:48

Hive数据倾斜

数据倾斜mapreduce任务执行时，reduce节点任务大部分执行完毕，但是有一或几个reduce任务运行很慢，导致任务进度一直卡在99%，这是因为某一个key的条数比其他key多得多，所在reduce
gotodeeper·2021-04-26 12:30

Hive千亿级数据倾斜解决方案

数据倾斜问题剖析本文首发于公众号【五分钟学大数据】数据倾斜是分布式系统不可避免的问题，任何分布式系统都有几率发生数据倾斜，但有些小伙伴在平时工作中感知不是很明显，这里要注意本篇文章的标题—“千亿级数据”
五分钟学大数据·2021-04-25 10:10

解决Spark数据倾斜(一) 分散同一Task的不同Key

分散同一Task的不同Key本文结合实例分析了通过调整并行度和使用自定义Partitioner缓解Spark数据倾斜的原理与适用场景。
程序员高级码农·2021-04-23 14:59

Hive 数据倾斜

http://www.cnblogs.com/qingyunzong/p/8847597.htmlhttp://www.cnblogs.com/qingyunzong/p/8847775.html空值产生数据倾斜的原因
博弈史密斯·2021-04-23 14:53

Hbase的预分区和协调处理器

Hbase的预分区和协调处理器HBase的预分区HBase的rowKey设计技巧：HBase的协处理器附：与HUE的整合HBase的预分区预分区的作用：增加数据读写效率负载均衡，防止数据倾斜方便集群容灾调度
KujyouRuri·2021-04-19 12:45

Spark数据倾斜问题解决以及造成的spark OOM问题

参考资料https://tech.meituan.com/2016/05/12/spark-tuning-pro.htmlhttps://blog.csdn.net/yisun123456/article/details/86699502前言对于spark而言，出现倾斜之类的问题并不陌生。大部分task很快就能完成，但是极少部分的task耗费了大部分的时间，甚至会出现OOM的场景，今天来模拟这种场
早点起床晒太阳·2021-04-14 22:15

flink数据倾斜问题解决与源码研究

1遇到问题flink实时程序在线上环境上运行遇到一个很诡异的问题，flink使用eventtime读取kafka数据发现无法触发计算。经过代码打印查看后发现十个并行度执行含有十个分区的kafka，有几个分区的watermark不更新，如图所示。acfb0d32.png打开kafka监控，可以看到数据有严重的倾斜问题。如下图所示，10个分区中有三个分区数据量特别少，5号分区基本上没数据。27fbec
zhouhy·2021-04-12 17:26

Hive调优 | Hive常见数据倾斜及调优技巧

Hive在执行MapReduce任务时经常会碰到数据倾斜的问题，表现为一个或者几个reduce节点运行很慢，延长了整个任务完成的时间，这是由于某些key的条数比其他key多很多，这些Key所在的reduce
大数据技术架构·2021-04-05 08:05

大数据--面经--2021年字节跳动大数据研发岗面试复盘

目录一：首先自我介绍二：数据倾斜2.1.是什么？2.2.为什么2.3.导致后果？2.4.分类？
斑马！·2021-04-04 11:28

数据倾斜的原因和解决方案

数据倾斜的原因和解决方案参考文章：（1）数据倾斜的原因和解决方案（2）https://www.cnblogs.com/pengpenghuhu/p/12000199.html备忘一下。
asdfgh0077·2021-04-01 16:06

Spark性能调优-Shuffle调优及故障排除篇

Spark调优之Shuffle调优本节开始先讲解Shuffle核心概念；然后针对HashShuffle、SortShuffle进行调优；接下来对map端、reduce端调优；再针对Spark中的数据倾斜问题进行剖析及调优
·2021-03-25 00:20

Spark性能调优-Shuffle调优及故障排除篇

Spark调优之Shuffle调优本节开始先讲解Shuffle核心概念；然后针对HashShuffle、SortShuffle进行调优；接下来对map端、reduce端调优；再针对Spark中的数据倾斜问题进行剖析及调优
·2021-03-25 00:35

Hive参数配置调优

保持平衡性是很有必要的，对于Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕,可怕的是数据倾斜，每个节点处理
·2021-03-22 19:29

Hive-常见调优方式 && 两个面试sql

影响Hive效率的不仅仅是数据量过大；数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对Hive的效率有影响。
·2021-03-19 22:13

Hive参数配置调优

保持平衡性是很有必要的，对于Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕,可怕的是数据倾斜，每个节点处理
·2021-03-15 19:41

Hive数据倾斜原因及优化解决方案

一：什么是数据倾斜数据倾斜是进行大数据计算时常见的问题。
zhaozuoyou·2021-03-01 23:48

数据倾斜原因及处理

数据倾斜原因和处理？
蒙奇D婵·2021-03-01 22:03

【文末彩蛋】数据仓库服务 GaussDB(DWS)单点性能案例集锦

一、数据倾斜1.1问题描述某局点SQL执行慢，涉及大表的SQL执行不出来结果。1.2分析过程数据倾斜在很多方面都会有体现：1）gs_ssh–c“df-h”查看各个数据磁盘的利用率，会有不均衡的现象。
华为云·2021-02-25 15:38

【文末彩蛋】数据仓库服务 GaussDB(DWS)单点性能案例集锦

1.1数据倾斜1.1.1问题描述某局点SQL执行慢，涉及大表的SQL执行不出来结果。
·2021-02-25 11:21

【文末彩蛋】数据仓库服务 GaussDB(DWS)单点性能案例集锦

1.1数据倾斜1.1.1问题描述某局点SQL执行慢，涉及大表的SQL执行不出来结果。
·2021-02-25 11:24

Hive底层原理：explain执行计划详解

理论本节将介绍explain的用法及参数介绍HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive调优，排查数据倾斜等很有帮助使用语法如下：EXPLAIN[
·2021-02-20 22:13

Hive底层原理：explain执行计划详解

理论本节将介绍explain的用法及参数介绍HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive调优，排查数据倾斜等很有帮助使用语法如下：EXPLAIN[
·2021-02-20 22:22

Hive底层原理：explain执行计划详解

理论本节将介绍explain的用法及参数介绍HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive调优，排查数据倾斜等很有帮助使用语法如下：EXPLAIN[
五分钟学大数据·2021-02-20 20:35

Blink/Flink 实践案例中的知识点整理

文章目录实践案例的知识点整理确定最终付款交易时间和订单确定时间如何判断有效订单点击次数作为PV、对客户的IP去重作为UV怎么解决数据倾斜？
Foools·2021-02-03 10:18

【2021持续更新】大数据面试题整理-hive篇

与传统数据库的区别hive的数据类型元数据保存方式内部表和外部表的区别分区表和分桶表的区别简述hive的存储格式hive如何将Hql转化为MapReducehive排序函数的区别UDF相关内容故障排查与调优数据倾斜与优化性能优化导语本专栏博文会整理日常工作与面试中最常用到的大数据相关组件与
李奇峰1998·2021-01-31 21:41

【2021持续更新】大数据面试题整理-HDFS篇

MapReduce中Shuffle过程HDFS文件存储格式HDFS文件压缩算法故障排查与调优HDFS中小文件过多导致的问题与如何优化MapReduce跑得慢的原因MapReduce优化方法MapReduce数据倾斜描述与解决方案
李奇峰1998·2021-01-26 23:15

【快速入门大数据】Hadoop3.x新特性

添加或替换磁盘导致datanode数据倾斜。现有hdfsbalanse没办法解决倾斜，使用新的diskbalance去cl
瑞 新·2021-01-23 12:50

大数据开发之Hive优化篇1-Hive 优化概述

Hive版本2.1.1文章目录一.Hive的实现原理二Hive优化2.1选择合理的存储格式和压缩格式2.2MRJob优化2.3Join优化2.3.1MapJoin优化2.3.2SMBJoin优化2.4数据倾斜
只是甲·2021-01-19 09:28

Hive中优化经验小结

•解决数据倾斜问题，多发生于数据在节点上分布不均匀，join时左边的表key分布比较集中（空值较多），count(distinct)字段
一只小鱼儿·2021-01-16 19:27

hive解决数据倾斜问题_如何解决Hive中经常出现的数据倾斜问题

Hive执行MapReduce过程中经常会出现数据倾斜问题，具体表现为：作业经常在Reduce过程完成99%的时候一直停留，最后1%一直保持很久才完成。
weixin_39639698·2021-01-14 12:31
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他