E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
mapjoin
MapReduce使用DistributedCache
如果是在Hive里可以用
MapJoin
的方式,但是这种方式不是很灵活虽然也支持不等值连接,例如:有这样一个需求,有一个很大的日志文件,这个文件中有个字段是用户的IP(这里的IP是长整形),有一个很小的文件记录了
JohnLee310
·
2014-04-25 10:13
大数据
Hadoop
Hive 数据倾斜总结
小表在左,大表在右;表若不大,
mapjoin
;关注空值,避免倾斜;来自@数据挖掘_PHPFrom:http://weibo.com/1784501333/AFiNWBQSQ
dwf07223
·
2014-04-12 16:49
hadoop
hive
数据倾斜
Hive Join 优化 翻译
confluence/display/Hive/LanguageManual+JoinOptimization#LanguageManualJoinOptimization-AutoConversiontoSMB
MapJoin
tobyqiu
·
2014-04-02 22:00
hive
Hive Join 优化 翻译
confluence/display/Hive/LanguageManual+JoinOptimization#LanguageManualJoinOptimization-AutoConversiontoSMB
MapJoin
tobyqiu
·
2014-04-02 14:00
JOIN
优化
hive
Hive 中 Map Join 的适用场景:非等值连接<转>
最近开发中遇到几种应用,刚好使用
MAPJOIN
来解决实际的问题。应用共同点如下:1: 有一个极小的表=a.start_level and b.xx<end_level;
yongjian_luo
·
2014-03-05 16:00
hive
mapjoin
使用
link:http://blog.csdn.net/xqy1522/article/details/6699740今天遇到一个hive的问题,如下hivesql: selectf.a,f.bfromAtjoinBf on(f.a=t.aandf.ftime=20110802) 该语句中B表有30亿行记录,A表只有100行记录,而且B表中数据倾斜特别严重,有一个key上有15亿行记录,在运行过程中
An342647823
·
2014-03-05 11:00
Hive
MapJoin
OOM
Hive升级完后ETL开发找到我说有的Job一直failed.看了一下在MAP阶段进行
MAPJOIN
处理时就OOM了,但是开发说没有加
MAPJOIN
HINT,其实在0.11后hive.auto.convert.join
MIKE老毕
·
2014-03-03 12:20
hive
oom
mapjoin
Hive
MapJoin
OOM
Hive升级完后ETL开发找到我说有的Job一直failed.看了一下在MAP阶段进行
MAPJOIN
处理时就OOM了,但是开发说没有加
MAPJOIN
HINT,其实在0.11后hive.auto.convert.join
MIKE老毕
·
2014-03-03 12:20
oom
hive
mapjoin
Hive
【拾贝】hive unoin all map数爆增
两条语句查询的数据实际都是02. unoin all 上下 有同样的表 查看打印信息做了
mapjoin
,估计是
mapjoin
的一个bug, 尝试加上条件set hive.auto.convert.join.noconditionaltask
yjplxq
·
2014-02-13 18:19
hive
map数爆增
位图连接索引
-z2--yEcwgYI7xWcTn1q761CA6McnVAcOTs2zfqj04R_vIVHT9ddXiqlbmlZsl2Vagcr0HwQ3oHuRscaym0Bnq定义编辑位图连接索引(bit
mapjoin
index
feier7501
·
2014-02-07 21:00
Hive
MapJoin
优化
1、Hive本地MR 如果在hive中运行的sql本身数据量很小,那么使用本地mr的效率要比分布式的快很多。但是hive本地MR对内存使用很敏感,查询的数据不能太大,否则本地内存是吃不消的。 So the query processor will launch this task in a child jvm, which has the same heap size as th
skywhsq1987
·
2014-01-11 10:00
hive
Hive优化---
mapjoin
和union all避免数据倾斜
mapjoin
和unionall避免数据倾斜发生数据倾斜时,通常的现象是:任务进度长时间维持在99%(或100%),查看任务监控页面,发现只有少量(1个或几个)reduce子任务未完成。
stevie
·
2014-01-08 16:56
hive
Hive 中的 LEFT SEMI JOIN 与 JOIN ON 的前世今生
1、联系他们都是hivejoin方式的一种,joinon属于commonjoin(shufflejoin/reducejoin),而 leftsemijoin则属于
mapjoin
(broadcastjoin
xrzs
·
2013-12-28 01:00
Hive 中 Map Join 的适用场景:非等值连接
最近开发中遇到几种应用,刚好使用
MAPJOIN
来解决实际的问题。
wisgood
·
2013-12-07 12:00
hive 优化遇到的一个问题:hive.auto.convert.join
hive的join有一种优化的方式:
mapjoin
但是,使用这种优化的时候要小心一点,先说一下优化配置的参数:sethive.optimize.correlation=truesethive.auto.convert.join
baiyangfu
·
2013-11-21 17:34
hive
hive 优化遇到的一个问题:hive.auto.convert.join
hive的join有一种优化的方式:
mapjoin
但是,使用这种优化的时候要小心一点,先说一下优化配置的参数:sethive.optimize.correlation=true sethive.auto.convert.join
baiyangfu
·
2013-11-21 17:00
Hive旺旺讨论(关于
mapjoin
)
shaomn(2013-08-0113:39:06):select/*+
mapjoin
(a)*/a.
绝艳天纵
·
2013-08-02 10:00
HIVE 优化的几个切入点
使用分区,但避免使用大量的分区2.合理设计临时表3.合理设计buckets4.针对不同的表,合理使用压缩特性二、查询优化1.使用适当的MAP与REDUCE数2.使用普通的JOIN时,设计合理的表顺序3.使用
MAPJOIN
4
aqszhuaihuai
·
2013-07-25 22:19
hadoop
hive
HIVE调优的两个好用参数
HIVE调优有两点是很好用的摘:https://speakerdeck.com/philiptromans/hive-optimisation-tips-tricks1.
MapJoin
旧版本HIVE需要自行在查询
iteye_1344
·
2013-05-10 16:55
Hive分享
深入理解Oracle索引(13):位图连接索引基础介绍
和BitmapIndex建立在单个table上不同、Bit
mapJoin
Index是基于多表连接的 较普遍的用法是事实表的外键列和相关的维度表的主键列的连接操作 或许有朋友对啥是事实表和维度表有点迷糊哈
linwaterbin
·
2013-05-08 22:00
JOIN
bitmap
index
Hive
MapJoin
优化
1、Hive本地MR如果在hive中运行的sql本身数据量很小,那么使用本地mr的效率要比分布式的快很多。但是hive本地MR对内存使用很敏感,查询的数据不能太大,否则本地内存是吃不消的。Sothequeryprocessorwilllaunchthistaskinachildjvm,whichhasthesameheapsizeastheMapper's.SincetheLocalTaskmay
liuxianbing119
·
2013-03-13 15:59
Hive数据仓库
Hive
MapJoin
优化
1、Hive本地MR 如果在hive中运行的sql本身数据量很小,那么使用本地mr的效率要比分布式的快很多。但是hive本地MR对内存使用很敏感,查询的数据不能太大,否则本地内存是吃不消的。Sothequeryprocessorwilllaunchthistaskinachildjvm,whichhasthesameheapsizeastheMapper's.SincetheLocalTaskma
liuxianbing119
·
2013-03-13 15:00
hive
mapjoin
使用 和个人理解
遇到一个hive的问题,如下hivesql:selectt1.a,t1.bfromtablet1jointable2t2on(t1.a=t2.aandt1.datecol=20110802)该语句中B表有30亿行记录,t1表只有100行记录,而且t2表中数据倾斜特别严重,有一个key上有15亿行记录,在运行过程中特别的慢,而且在reduece的过程中遇有内存不够而报错。为了解决用户的这个问题,考虑
原创学无止尽
·
2013-02-27 11:50
Hive
Hive 中 Map Join 的适用场景:非等值连接
最近开发中遇到几种应用,刚好使用
MAPJOIN
来解决实际的问题。
xrzs
·
2012-12-26 03:00
hive优化(4)之
mapjoin
和union all避免数据倾斜
发生数据倾斜时,通常的现象是:任务进度长时间维持在99%(或100%),查看任务监控页面,发现只有少量(1个或几个)reduce子任务未完成。查看未完成的子任务,可以看到本地读写数据量积累非常大,通常超过10GB可以认定为发生数据倾斜。数据倾斜一般是由于代码中的join或groupby或distinct的key分布不均导致的,大量经验表明数据倾斜的原因是人为的建表疏忽或业务可以规避的。如果确认业务
lpxuan151009
·
2012-09-14 20:00
JOIN
sql
c
优化
任务
hive优化(1)之
mapjoin
hive>createtablelpx_
mapjoin
as >SELECT'2012-04-17'asstat_date > ,b.admin_member_id >
lpxuan151009
·
2012-09-07 20:00
mapreduce
JOIN
优化
Date
command
input
Hadoop之旅--Hadoop数据倾斜的记录
阅读更多hadoop不怕数据量大,最怕数据倾斜数据倾斜,我到过的处理的方式1.
mapjoin
方式/*+
MAPJOIN
(c,d,e,f)*/其中c,d,e,f是你小表,也就是说可能会倾斜数据的表;但是对于
scholers
·
2012-08-17 13:00
Hadoop之旅--Hadoop数据倾斜的记录
hadoop不怕数据量大,最怕数据倾斜数据倾斜, 我到过的处理的方式 1.
mapjoin
方式 /*+
MAPJOIN
(c,d,e,f) */ 其中c,d,e,f是你小表,也就是说可能会倾斜数据的表
scholers
·
2012-08-17 13:00
hadoop
20120815
insertoverwritetablet_calc_sms_ex_basepartition(stat_time='20120807')select/*+
mapjoin
(b)*/a.user_name
j3smile
·
2012-08-15 15:00
Skewed Join Optimization
当join两个大表的时候,对于其中较大的一个表存在少量倾斜很严重的key的时候,可以将这部分key先提取出来(distinct(key))和另外一个表join作为后续
mapjoin
的小表来用。
macyang
·
2012-06-17 19:00
hive
mapjoin
使用
为了解决用户的这个问题,考虑使用
mapjoin
,mapjoi
datong838
·
2012-06-15 12:00
并行计算
使用
mapjoin
效率对比
三个不同uidselect/*+
MAPJOIN
(c)*/distinct c.ipf
wf1982
·
2011-12-26 17:00
JOIN
c
测试
MAPJOIN
2009-12-8@taobao什么是
MAPJOIN
MAPJOIN
是HiveQL支持的一种Hint,作用是优化两表join的性能.其中的原理请google一下"hadoopmapsidejoin".参考示例
zhongl
·
2011-09-23 11:00
hive
trace
hive
mapjoin
使用
为了解决用户的这个问题,考虑使用
mapjoin
,mapjoi
xqy1522
·
2011-08-18 22:00
mapreduce
JOIN
sql
hive auto map join
旧的
mapjoin
实现,0.6及其以前的版本 新的
mapjoin
实现,0.7版本,HIVE-1641、HIVE-1754 将小表加载到分布式缓存 auto
mapjoin
依赖与新的
mapjoin
实现
bupt04406
·
2011-08-15 20:00
hive
关于索引的一些认识
B-TreeIndexesBitmapIndexesHashIndexesReverseKeyIndexes Index-OriganizedTablesFunction-BasedIndexesPartitionedIndexesBit
mapJoin
Indexes
theorytree
·
2011-03-22 14:00
JOIN
mysql
table
delete
insert
磁盘
hive优化
例如,对于查询:SELECTa,bFROMTWHEREeB.a 简单总结一下,
mapjoin
的使用场景:1.关联操作中有一张表非常小2.不等值的链接操作GroupByMap端部分聚合:并不是所有的聚合操作都
085567
·
2011-03-16 15:00
cache
hive
mapjoin
insert overwrite table crosstest select /*+
MAPJOIN
(a)*/ a.ra,a.dec,b.ra,b.dec from rosat2rc
samuschen
·
2010-12-15 21:00
mapreduce
cache
书评:编写高性能SQL代码的艺术
你会发现hash
mapjoin
与
Jonathan Allen
·
2009-03-23 00:00
mysql创建Bitmap_Join_Indexes中的约束与索引
createtablecustomersasselect*fromsh.customers;createuniqueindexCUST_ID_unoncustomers(CUST_ID);创建:Bit
mapJoin
Indexescreatebitmapindexsales_cust_gender_bjixon
·
2008-04-07 20:03
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他