数据倾斜

硬刚Hive | 4万字基础调优面试小总结

本文基本涵盖以下内容：一、基于Hadoop的数据仓库Hive基础知识二、HiveSQL语法三、Hive性能优化四、Hive性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一)七、
浪尖聊大数据-浪尖·2022-07-20 10:11

Hive/MaxCompute SQL性能优化(一)：什么是数据倾斜

概念数据倾斜是指在并行计算模式下（map-reduce框架，数据被切分为N个片段，分发到不同的计算节点上，单独计算），部分节点处理的数据量远大于其他节点，造成该节点计算压力过大，从而导致少数节点的运行时长远远超过其他节点的平均运行时长
王义凯_Rick·2022-07-15 14:05

postgreSQL数据倾斜时全表vs索引

开发反馈一个简单的count语句接口压测超时，查看到该表上原本作为条件的索引被disable了，加上表中数据倾斜严重，导致不论传参在表中分布情况如何都会走全表扫测试表taria=#createtableskewtest
Umarudive·2022-07-13 08:16

大数据SQL优化之数据倾斜解决案例全集

1什么是数据倾斜数据倾斜即指在大数据计算任务中某个处理任务的进程（通常是一个JVM进程）被分配到的任务量过多，导致任务运行时间超长甚至最终失败，进而导致整个大任务超长时间运行或者失败。
OPPO互联网技术官方账号·2022-07-12 12:25

幸运哈希竞猜娱乐平台系统开发

数据倾斜
·2022-06-23 10:07

浅析Redis 切片集群的数据倾斜问题

目录Redis中如何应对数据倾斜什么是数据倾斜数据量倾斜bigkey导致倾斜Slot分配不均衡导致倾斜HashTag导致倾斜数据访问倾斜总结参考Redis中如何应对数据倾斜什么是数据倾斜如果Redis中的部署
·2022-06-22 11:47

Redis 切片集群的数据倾斜分析

Redis中如何应对数据倾斜什么是数据倾斜数据量倾斜bigkey导致倾斜Slot分配不均衡导致倾斜HashTag导致倾斜数据访问倾斜如何发现HotKeyHotKey如何解决总结参考Redis中如何应对数据倾斜什么是数据倾斜如果
ZhanLi·2022-06-22 08:00

Redis 切片集群的数据倾斜分析

Redis中如何应对数据倾斜什么是数据倾斜数据量倾斜bigkey导致倾斜Slot分配不均衡导致倾斜HashTag导致倾斜数据访问倾斜如何发现HotKeyHotKey如何解决总结参考Redis中如何应对数据倾斜什么是数据倾斜如果
ZhanLi·2022-06-22 08:00

Hive调优策略总结

文章目录1.Fetch抓取2.本地模式3.MapJoin（数据倾斜问题）4.GroupBy5.Count(distinct)6.笛卡尔积7.动态分区调整8.并行执行9.严格模式10.JVM重用11.推测执行
一片枯黄的枫叶·2022-06-17 10:30

HiveSQL优化方法

Hive调优集锦Hive/HiveSQL常用优化方法全面总结关于Hive优化的四种方法总结HiveSQL优化Hive数据倾斜问题Hive常见的数据倾斜及调优技巧HiveSQL排序Hive作为大数据领域常用的数据仓库组件
天线嘟嘟茄·2022-06-15 14:14

关于数仓的DWD层的讲解和拉链表讲解以及进行JOIN优化

mapjoinBucketMapJoinSMBJoin优化面试题（希望大家掌握）：前言在数仓的构建DWD层的时候有些数据需要去转化成拉链表来经行处理所以在今天我会着重讲解拉链表的使用以及在DWBJOIN表的时候进行的优化防止数据倾斜一
云屋探案社.·2022-06-08 07:26

Redis Sharding集群跟一致性哈希有什么瓜葛？

目录一、前言二、Redissharding集群1、概念及优劣：2、数据倾斜问题3、数据丢失问题4、应用三、后话四、参考一、前言最近在所负责的某些系统上遇到了一些Redis相关的问题，刚好在朋友圈聊到Cluster
尘世间一名迷途小码农·2022-06-07 16:26

如何处理hive的数据倾斜?

hive的数据倾斜出现倾斜的根本原因:一数据倾斜处理1使用mapjoin/bucketmapjoin/SMBmapjoin解决小表join大表(Mapjoin)中型表join大表(bucketmapjoin
DI O·2022-05-17 10:33

偏态数据的观察、量化评估与处理前后的对比

通过箱线图观察不同特征的分布情况#查看特征的数据倾斜情况#丢弃y值all_features=df_train.drop([
-Pursuit-·2022-05-11 07:11

八种解决 Spark 数据倾斜的方法

一、什么是数据倾斜对Spark/Hadoop这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。对于分布式系统而言，理想情况下，随着系统规模（节点数量）的增加，应用整体耗时线性下降。
坨坨的大数据·2022-05-10 16:46

眼见不一定为实：调用链HBase倾斜修复

今天给大家分享一个关于HBase数据倾斜的排查案例，不懂调用链？不懂HBase？
捉虫大师·2022-04-26 11:00

大数据面试题

课程号和课程名称3、下面是学生的成绩表（表名score，列名：学号、课程号、成绩）5.查询没有学全所有课的学生的学号、姓名6.查询两门以上不及格课程的同学的学号及其平均成绩二、Hadoop1、hadoop数据倾斜如何处理
黑冰vip·2022-04-22 08:46

分布式相关

对于节点比较少的，虚拟节点防止数据倾斜。性能标准吞吐量，qps（每秒处理请求数），tps（每秒处理事务数）。rt（请求延迟）。95线99线就是95%，99%。
go_2021·2022-04-08 17:17

Spark—GraphX编程指南

Spark系列面试题Spark面试题（一）Spark面试题（二）Spark面试题（三）Spark面试题（四）Spark面试题（五）——数据倾斜调优Spark面试题（六）——Spark资源调优Spark面试题
·2022-03-27 16:38

Spark—GraphX编程指南

Spark系列面试题Spark面试题（一）Spark面试题（二）Spark面试题（三）Spark面试题（四）Spark面试题（五）——数据倾斜调优Spark面试题（六）——Spark资源调优Spark面试题
大数据技术派·2022-03-27 15:00

Spark—GraphX编程指南

Spark系列面试题Spark面试题（一）Spark面试题（二）Spark面试题（三）Spark面试题（四）Spark面试题（五）——数据倾斜调优Spark面试题（六）——Spark资源调优Spark面试题
大数据技术派·2022-03-25 18:00

redis

redis集群数据倾斜算数据落到哪个槽用的是crc16redis为什么要用Redis？Redis为什么这么快？几乎覆盖了Memcached的绝大部分功能，升级版。
宋song一·2022-03-24 17:50

Hive 数据倾斜问题定位排查及解决

多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导致我们面对倾斜时还是不知所措。
·2022-03-24 14:47

万字长文详解HiveSQL执行计划

案例四：定位产生数据倾斜的代码段explaindependency的用法案例一：识别看似等价的代码案例二：识别SQL读取数据范围的差别explainauthorization的用法一、前言HiveSQ
五分钟学大数据·2022-03-22 10:00

hive优化大全（hive的优化这一篇就够了）

文章目录写在前面一、概述1.1数据倾斜1.2MapReduce二、产生原因三、解决方案和避免方案3.1Hive语句初始化配置3.1.1join过程的配置3.1.2mapjoin过程的设置3.1.3combiner
绝域时空·2022-03-20 07:53

Flink-5.Flink 随机key数据倾斜

packagecom.ctgu.flink.project;importorg.apache.flink.api.common.functions.AggregateFunction;importorg.apache.flink.api.common.functions.RichMapFunction;importorg.apache.flink.api.common.state.ValueSta
笨鸡·2022-03-10 12:51

15道经典大数据面试题

Spark用过的解决数据倾斜的方案说一下？Flink的四大基石都有哪些？watermark的作用是啥？如何保证数据不丢失？Flink如何保证ExactlyOnce语
远方时光·2022-02-28 10:46

大数据面试题

大数据面试题https://www.yuque.com/zhongguohaopangzi/igi4hb/kws4zv京东1、列举几种数据倾斜的情况，并解释为什么会倾斜，以及如何解决？
hzp666·2022-02-28 10:58

Hive常用性能优化方法实践全面总结

ApacheHive作为处理大数据量的大数据领域数据建设核心工具，数据量往往不是影响Hive执行效率的核心因素，数据倾斜、job数分配的不合理、磁盘或网络I/O过高、MapReduce配置的不合理等等才是影响
大数据学习与分享·2022-02-23 12:57

hive 优化-1

join优化-数据倾斜hive.optimize.skewjoin=true;【TODO细节】数据倾斜时启动两个job进行join然后再做unionsethive.skewjoin.key=100000
wpb·2022-02-19 08:37

Spark 数据倾斜及其解决方案

本文首发于vivo互联网技术微信公众号https://mp.weixin.qq.com/s/lqMu6lfk-Ny1ZHYruEeBdA作者简介：郑志彬，毕业于华南理工大学计算机科学与技术（双语班）。先后从事过电子商务、开放平台、移动浏览器、推荐广告和大数据、人工智能等相关开发和架构。目前在vivo智能平台中心从事AI中台建设以及广告推荐业务。擅长各种业务形态的业务架构、平台化以及各种业务解决方案
vivo互联网技术·2022-02-18 05:31

Hive 数据倾斜问题定位排查及解决

多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导致我们面对倾斜时还是不知所措。
·2022-02-14 14:39

Spark Streaming stream.repartition 和rdd.repartition 比较

导致每个task消费的数据量不一样，造成严重的数据倾斜。所以需要进行一次repartition使得处理起来比较均匀。解决办法但是就有了两种方式。两者使用的都是Direct方式而非Reciver方式。
pcqlegend·2022-02-14 12:29

2018-05-30

1.jion的时候把大表放后面2.joinon使用相同连接键位，避免产生多个mapreduce3.尽早的过滤数据，避免数据倾斜4.尽量原子化操作5.用insertinto替换unionall可以节约50%
line_book·2022-02-14 07:34

5W字总结Spark（三）(建议收藏)

八、Spark数据倾斜详见：八种解决Spark数据倾斜的方法https://www.jianshu.com/p/a917c9969cff九、Spark性能优化Spark调优之RDD算子调优1.RDD复用在对
坨坨的大数据·2022-02-10 21:00

5W字总结Spark（一）(建议收藏)

Spark基础二、SparkCore三、SparkSQL四、SparkStreaming五、StructuredStreaming六、Spark两种核心Shuffle七、Spark底层执行原理八、Spark数据倾斜九
坨坨的大数据·2022-02-10 18:12

HashMap源码分析

但是当hash不均匀的时候，可能会导致数据倾斜到某个数组槽位。那么对集合的更新、查找操作最后转变为线性查找，失去了hash查找的特性。//使用数组式的链表
哦00·2022-02-08 12:21

hive性能调优详解系列之hive语法和参数层面调优_数仓工程师必备hive调优方案

上一篇可点击hive建表设计层面调优一.hive语法层面和参数调优hive语法和参数调优将是hive调优一大重点，并能间接解决数据倾斜问题，同事提升运行效率也是重中之重。
老姜的数据江湖·2022-02-06 11:59

Hive调优，数据工程师成神之路

mp.weixin.qq.com/s/7lz9nJhQb9Qal6hCI1EUOA1前言毫不夸张的说，有没有掌握hive调优，是判断一个数据工程师是否合格的重要指标hive调优涉及到压缩和存储调优，参数调优，sql的调优，数据倾斜调优
吃鱼的羊·2022-02-06 11:27

读Flink源码谈设计：Exactly Once

本文首发于泊浮目的语雀:https://www.yuque.com/17sing版本日期备注1.02022.2.2文章首发0.前言将Flink应用至生产已有一段时间，刚上生产的时候有幸排查过因数据倾斜引起的
·2022-02-02 11:32

互联网一线大厂OPPO大数据技术岗面试题汇总

1）技术部分（1）SparkStreaming消费方式及区别，Spark读取HDFS的数据流程（2）Kafka高性能（3）Hive调优，数据倾斜（4）Zookeeper怎么避免脑裂，什么是脑裂。
·2022-01-20 12:33

Spark计算中的数据倾斜

本文的讨论场景限定在spark计算引擎，但是并不局限于spark，相关的讨论可以迁移到其他的计算引擎Spark计算中什么是数据倾斜？
天之見證·2022-01-13 16:20

大数据SQL优化之数据倾斜解决案例全集

1什么是数据倾斜数据倾斜即指在大数据计算任务中某个处理任务的进程（通常是一个JVM进程）被分配到的任务量过多，导致任务运行时间超长甚至最终失败，进而导致整个大任务超长时间运行或者失败。
·2022-01-05 15:33

Hive SQL优化思路

优化的核心思想是：减少数据量（例如分区、列剪裁）避免数据倾斜（例如加参数、Key打散）避免全表扫描（例如on添加加上分区等）减少job数（例如相同的on条件的join放在一起作为一个任务）本文首发在公众号
·2021-12-28 09:10

Hive应用 | Hive性能调优

影响Hive效率的不仅仅是数据量过大、数据倾斜、job（小文件过多）或者磁盘I/O过多、MapReduce分配不合理等因素都会对Hive的效率有影响。
木衍小哥·2021-12-22 13:36

怎么排查是哪里出现了数据倾斜

Hive数据倾斜怎么发现，怎么定位，怎么解决多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导致我们面对倾斜时还是不知所措。
·2021-12-09 13:10

数据倾斜产生，原因及其解决方案

目录第七章数据倾斜7.1数据倾斜的产生，表现与原因7.1.1数据倾斜的定义7.1.2数据倾斜的危害7.1.3数据倾斜发生的现象7.2数据倾斜倾斜造成的原因7.3几种常见的数据倾斜及其解决方案7.3.1空值引发的数据倾斜
斑马！·2021-11-14 15:51

Spark常见面试题

两种方式的区别以及工作流程Spark内存管理官网优化这块查看Spark作业资源的设置情况excutor个数memorycoredriverShuffle机制DataFrame/DataSet和RDD的区别以及编程数据倾斜
·2021-11-08 21:53

Spark面试题（四）

shuffle产生海量的小文件在磁盘上，此时会产生大量耗时的、低效的IO操作；2）容易导致内存不够用，由于内存需要保存海量的文件操作句柄和临时缓存信息，如果数据处理规模比较大的话，容易出现OOM；3）容易出现数据倾斜
大数据技术派·2021-11-07 20:00

Hive-Group by的优化(解决数据倾斜的问题)

为了解决groupby数据倾斜的情况,可以采用Map端数据聚合的操作。
梦里Coding·2021-10-20 15:19
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他