分区、内存-深入理解Oracle表(5)：三大表连接方式详解之Hash Join的定义，原-by小雨

文章结束给大家来个程序员笑话：[M]

    Hash Join只能用于相称接连，且只能在CBO优化器模式下。于对相nested loop join，hash join更适合理处大型结果集
        Hash Join的执行计划第1个是hash表(build table)，第2个探表查(probe table)，一般不叫内表面，nested loop才有内表面
        Hash表也就是所谓的内表，探表查所谓的表面
        两者的执行计划形如：
        nested loop
            outer table             --动驱表
            inner table
       
       hash join
           build table              (inner table) --动驱表
 
            probe table             (outer  table)
         先看一张图片，大致懂得Hash Join的程过：
         

 

 

         上面细详懂得一下Hash Join
 
         ㈠ Hash join念概
          
          [color=ize:24px]Hash join算法的一个基本思想就是根据小的row sources(称作build input 也就是前文提到的build table，我们记小较的表为S，大较的表为B)
           立建一个可以存在于hash area内存中的hash table
           然后用大的row sources(称作probe input，也就是前文提到的probe table) 来测探面前所建的hash table
           如果hash area内存不够大，hash table就没法全完放存在hash area内存中
           针对这类情况，Oracle在接连键利用一个hash函数将build input和probe input分割成多个不相连的分区
           别分记作Si和Bi，这个阶段叫做分区阶段；然后各自响应的分区，即Si和Bi再做Hash join，这个阶段叫做join阶段
          如果HASH表太大，没法一次结构在内存中，则成分若干个partition，写入磁盘的temporary segment，则会多一个写的价代，会低降效率
           至于小表的念概，对于 hash join 说来，能包容在 pga 中的 hash table 都可以叫小表，平日比如：
           pga_aggregate_target                 big integer    1073741824
           hash  area size 大体能用使到40多 M ，这样的话平日可能包容 几十万的记载
           hash area size省缺是2*sort_area_size,我们可以直接改修SORT_AREA_SIZE 的巨细，HASH_AREA_SIZE也会着跟变改的
           如果你的workarea_size_policy=auto，那么我们需只设定pga_aggregate_target
           但请记着，这是一个session级别的参数，偶然，我们更倾向于把hash_area_size的巨细设成动驱表的1.6倍右左
           动驱表仅仅用于nested loop join 和 hash join，但Hash join不须要在动驱表上存在索引，而nested loop join则急切需求
           一两百万记载的表 join上  千万记载的表，hash join的平日现表非常好
           不过，多与少，大与小，很多时候很难化量，具体情况还得具体分析
           如果在分区后，针对某个分区所建的hash table还是太大的话，oracle就用采nested loop hash join
           所谓的nested-loops hash join就是对分部Si立建hash table，然后读取全体的Bi与所建的hash table做接连
           然后再对残余的Si立建hash table，再将全体的Bi与所建的hash table做接连，直至全体的Si都接连完了
       
       ㈡ Hash Join道理
       
          [color=ize:24px]斟酌以下两个据数集：
           S={1,1,1,3,3,4,4,4,4,5,8,8,8,8,10}
           B={0,0,1,1,1,1,2,2,2,2,2,2,3,8,9,9,9,10,10,11}
           Hash Join的第一步就是判断小表（即build input）否是能全完放存在hash area内存中
           如果能全完放存在内存中，则在内存中立建hash table，这是最简略的hash join
           如果不能全体放存在内存中，则build input必须分区。分区的个数叫做fan-out
           Fan-out是由hash_area_size和cluster size来决议的。其中cluster size于等db_block_size * _hash_multiblock_io_count
           hash_multiblock_io_count是个隐藏参数,在9.0.1当前就不再用使了
 
  sys@ORCL> ed
 Wrote file afiedt.buf
 
  1  select a.ksppinm name,b.ksppstvl value,a.ksppdesc description
   2  from x$ksppi a,x$ksppcv b
   3  where a.indx = b.indx
   4* and a.ksppinm like '%hash_multiblock_io_count%'
 sys@ORCL> /
 
NAME                           VALUE DESCRIPTION
 ------------------------------ ----- ------------------------------------------------------------
 _hash_multiblock_io_count      0     number of blocks hash join will read/write at once
           Oracle用采外部一个hash函数作用于接连键上，将S和B分割成多个分区
           在这里我们假设这个hash函数为求余函数，即Mod(join_column_value,10)
           这样生产十个分区，如下表:
 
 
             

 

 

            经过这样的分区以后，只须要响应的分区之间做join可即（也就是所谓的partition pairs） 
           如果有一个分区为NULL的话，则响应的分区join可即略忽
           在将S表读入内存分区时，oracle即记载接连键的独一值，构建成所谓的位图向量
           它须要占hash area内存的5%右左。在这里即为{1,3,4,5,8,10}
           当对B表停止分区时，将个一每接连键上的值与位图向量相较比，如果不在其中，则将其记载弃丢
           在我们这个例子中，B表中以下据数将被弃丢{0,0,2,2,2,2,2,2,9,9,9,9,9}
           这个程过就是位图向量过滤
           当S1,B1做完接连后，接着对Si,Bi停止接连
           这里oracle将较比两个分区，选取小的那个做build input，就是态动角色换互
           这个态动角色换互产生在除第一对分区之外的分区面上
 
 
 
         ㈢ Hash Join算法
       
          [color=ize:24px]第1步：判断小表否是够能全体放存在hash area内存中，如果可以，则做内存hash join。如果行不，转第二步
           第2步：决议fan-out数
                        (Number of Partitions) * C<= Favm *M
                       其中C为Cluster size，其值为DB_BLOCK_SIZE*HASH_MULTIBLOCK_IO_COUNT
                       Favm为hash area内存可以用使的百分比，一般为0.8右左
                       M为Hash_area_size的巨细
           第3步：读取分部小表S，用采外部hash函数(这里称为hash_fun_1)
                        将接连键值映射至某个分区，同时用采hash_fun_2函数对接连键值生产另外一个hash值
                        这个hash值用于创立hash table用，并且与接连键值放存在起一
           第4步：对build input立建位图向量
           第5步：如果内存中没有空间了，则将分区写至磁盘上
           第6步：读取小表S的残余分部，重复第三步，直至小表S全体读完
           第7步：将分区按巨细排序，选取几个分区立建hash table(这里选取分区的原则是使选取的数量最多)
           第8步：根据面前用hash_fun_2函数算计好的hash值，立建hash table
           第9步：读取表B，用采位图向量停止位图向量过滤
           第10步：对通过过滤的据数用采hash_fun_1函数将据数映射到响应的分区中去，并算计hash_fun_2的hash值
           第11步：如果所落的分区在内存中，则将面前通过hash_fun_2函数算计所得的hash值与内存中已存在的hash table做接连
                          将结果写致磁盘上。如果所落的分区不在内存中，则将响应的值与表S响应的分区放在起一
           第12步：续继读取表B，重复第9步，直至表B读取终了 
           第13步：读取响应的(Si,Bi)做hash接连。在这里会产生态动角色换互
           第14步：如果分区后过，小最的分区也比内存大，则产生nested-loop hash join  
  
     
        ㈣ Hash Join的本成
       
          ⑴ In-Memory Hash Join
               Cost(HJ)=Read(S)+ build hash table in memory(CPU)+Read(B) + Perform In memory Join(CPU)
               略忽cpu的时光，则：
               Cost(HJ)=Read(S)+Read(B)
             
          ⑵ On-Disk Hash Join
               根据上述的骤步述描，我们可以看出：
               Cost(HJ)=Cost(HJ1)+Cost(HJ2) 
               其中Cost(HJ1)的本成就是扫描S,B表，并将没法放在内存上的分部写回磁盘，对应面前第2步至第12步
                      Cost(HJ2)即为做nested-loop hash join的本成，对应面前的第13步至第14步
               其中Cost(HJ1)近似于等Read(S)+Read(B)+Write((S-M)+(B-B*M/S))
               因为在做nested-loop hash join时，对每一chunk的build input，都须要读取整个probe input，因此
               Cost(HJ2)近似于等Read((S-M)+n*(B-B*M/S))，其中n是nested-loop hash join须要循环的次数：n=(S/F)/M
               一般情况下，如果n大于10的话，hash join的能性将大大下落
               从n的算计公式可以看出，n与Fan-out成反比例，高提fan-out，可以低降n
               当hash_area_size是固准时，可以低降cluster size来高提fan-out
               从这里我们可以看出，高提hash_multiblock_io_count参数的值并不一定高提hash join的能性
  
             
       ㈤ Hash Join的程过
       
          [color=ize:24px]一次完全的hash join如下：
           1  算计小表的分区（bucket）数--Hash分桶
               决议hash join的一个重要因素是小表的分区（bucket）数
               这个字数由hash_area_size、hash_multiblock_io_count和db_block_size参数独特决议
               Oracle会留保hash

    游戏开辟论坛：http://jiushun8.com/forum.php?mod=viewthread&tid=5546&extra=page%3D1

文章结束给大家分享下程序员的一些笑话语录： 手机终究会变成PC，所以ip会比wm更加畅销，但是有一天手机强大到一定程度了就会发现只有wm的支持才能完美享受。就好比树和草，草长得再高也是草，时间到了条件成熟了树就会窜天高了。www.ishuo.cn