数据库系统概论（第九章： 关系查询处理和查询优化）

第9章    关系查询处理和查询优化
查询优化分类 ：
代数优化：指关系代数表达式的优化 
物理优化：指存取路径和底层操作算法的选择

9.1 关系数据库系统的查询处理
9.1.1  查询处理步骤
※关系数据库管理系统查询处理阶段 ： 
1. 查询分析
2. 查询检查
3. 查询优化 
4. 查询执行 
  
9.1.2  实现查询操作的算法示例 
1.选择操作的实现
※选择操作典型实现方法：
（1） 全表扫描方法 (Table Scan)
●对查询的基本表顺序扫描，逐一检查每个元组是否满足选择条件，把满足条件的元组作为结果输出 
●适合小表，不适合大表
（2）索引扫描方法 (Index Scan)
●适合于选择条件中的属性上有索引(例如B+树索引或Hash索引) 
●通过索引先找到满足条件的元组主码或元组指针，再通过元组指针直接在查询的基本表中找到元组 

※全表扫描算法
●假设可以使用的内存为M块，全表扫描算法思想：
① 按照物理次序读Student的M块到内存
②检查内存的每个元组t，如果满足选择条件，则输出t
③如果student还有其他块未被处理，重复①和②

※索引扫描算法

2.连接操作的实现
※连接操作是查询处理中最耗时的操作之一

9.2 关系数据库系统的查询优化 
※查询优化在关系数据库系统中有着非常重要的地位 
※关系查询优化是影响关系数据库管理系统性能的关键因素 
※由于关系表达式的语义级别很高，使关系系统可以从关系表达式中分析查询语义，提供了执行查询优化的可能性  
9.2.1查询优化概述
※关系系统的查询优化
●是关系数据库管理系统实现的关键技术又是关系系统的优点所在
●减轻了用户选择存取路径的负担 

※关系数据库管理系统通过某种代价模型计算出各种查询执行策略的执行代价，然后选取代价最小的执行方案
●集中式数据库
    ⊙ 执行开销主要包括
         ↣磁盘存取块数(I/O代价)
         ↣处理机时间(CPU代价)
         ↣查询的内存开销 

    ⊙ I/O代价是最主要的

●分布式数据库
    ⊙总代价=I/O代价+CPU代价+内存代价＋通信代价 

※查询优化的总目标
●选择有效的策略
●求得给定关系表达式的值
●使得查询代价最小(实际上是较小) 


9.2.2一个实例
※一个关系查询可以对应不同的执行方案，其效率可能相差非常大。
※可以用多种等价的关系代数表达式来完成这一查询
●Q1=πSname(σStudent.Sno=SC.Sno∧SC.Cno='2' (Student×SC))
●Q2=πSname(σSC.Cno='2' (Student     SC))
●Q3=πSname(Student      σSC.Cno='2'(SC))

1.第一种情况
●Q1=πSname(σStudent.Sno=SC.Sno∧SC.Cno='2' (Student×SC))

（1） 计算广义笛卡尔积 
※算法：
●在内存中尽可能多地装入某个表(如Student表)的若干块，留出一块存放另一个表(如SC表)的元组。
●把SC中的每个元组和Student中每个元组连接，连接后的元组装满一块后就写到中间文件上
●从SC中读入一块和内存中的Student元组连接，直到SC表处理完。
●再读入若干块Student元组，读入一块SC元组
●重复上述处理过程，直到把Student表处理完 

※设一个块能装10个Student元组或100个SC元组，在内存中存放5块Student元组和1块SC元组，则读取总块数为                                                                              
●读Student表100块，读SC表20遍，每遍100块，则总计要读取2100数据块。
●连接后的元组数为103×104=107。设每块能装10个元组，则写出106 块。

（2）作选择操作 
●依次读入连接后的元组，按照选择条件选取满足要求的记录
●假定内存处理时间忽略。读取中间文件花费的时间(同写中间文件一样)需读入106块。 
●若满足条件的元组假设仅50个，均可放在内存。 

（3）作投影操作 
●把第（2）步的结果在Sname上作投影输出，得到最终结果 

※第一种情况下执行查询的总读写数据块=2100+106 +106

2.第二种情况 
    Q2=πSname(σSc.Cno='2' (Student     SC))
（1）计算自然连接 
●执行自然连接，读取Student和SC表的策略不变，总的读取块数仍为2100块
●自然连接的结果比第一种情况大大减少，为104个元组
●写出数据块= 103 块
（2）读取中间文件块，执行选择运算，读取的数据块= 
          103 块
（3）把第2步结果投影输出。
●第二种情况下执行查询的总读写数据块=2100+ 103 +103
●其执行代价大约是第一种情况的488分之一

3.第三种情况
Q3=πSname(Student      σSC.Cno='2'(SC))
（1）先对SC表作选择运算，只需读一遍SC表，存取
         100块，因为满足条件的元组仅50个，不必使用中
         间文件。
（2）读取Student表，把读入的Student元组和内存中
          的SC元组作连接。也只需读一遍Student表共100   
         块。
（3）把连接结果投影输出  
●第三种情况总的读写数据块=100+100
●其执行代价大约是第一种情况的万分之一，是第二种情况的20分之一

※假如SC表的Cno字段上有索引
●第一步就不必读取所有的SC元组而只需读取Cno=‘2’的那些元组(50个)
●存取的索引块和SC中满足条件的数据块大约总共3～4块

※若Student表在Sno上也有索引
●不必读取所有的Student元组
●因为满足条件的SC记录仅50个，涉及最多50个Student记录
●读取Student表的块数也可大大减少 


※把代数表达式Q1变换为Q2、 Q3
Q1=πSname(σStudent.Sno=SC.Sno∧Sc.Cno='2' (Student×SC))

Q2=πSname(σSc.Cno='2' (Student     SC))
Q3=πSname(Student      σSC.Cno='2'(SC))

●有选择和连接操作时，先做选择操作，这样参加连接的元组就可以大大减少，这是代数优化。

※在Q3中
●SC表的选择操作算法有全表扫描或索引扫描，经过初步估算，索引扫描方法较优。
●对于Student和SC表的连接，利用Student表上的索引，采用索引连接代价也较小，这就是物理优化。



9.3 代数优化 
9.3.1  关系代数表达式等价变换规则 
※代数优化策略：通过对关系代数表达式的等价变换来提高查询效率 
※关系代数表达式的等价：指用相同的关系代替两个表达式中相应的关系所得到的结果是相同的
※两个关系表达式E1和E2是等价的，可记为E1≡E2  
※常用的等价变换规则：
1.连接、笛卡尔积交换律
2.连接、笛卡尔积的结合律
3.投影的串接定律

 4.选择的串接定律

 5.选择与投影操作的交换律
 6. 选择与笛卡尔积的交换律
7. 选择与并的分配律
8. 选择与差运算的分配律
9. 选择对自然连接的分配律

10. 投影与笛卡尔积的分配律
11. 投影与并的分配律

9.3.2  查询树的启发式优化 
※典型的启发式规则
（1）选择运算应尽可能先做
     在优化策略中这是最重要、最基本的一条。
（2）把投影运算和选择运算同时进行
如有若干投影和选择运算，并且它们都对同一个关系操作，则可以在扫描此关系的同时完成所有的这些运算以避免重复扫描关系。
（3） 把投影同其前或其后的双目运算结合起来，没有必要为了去掉某些字段而扫描一遍关系。
（4） 把某些选择同在它前面要执行的笛卡尔积结合起来成为一个连接运算，连接特别是等值连接运算要比同样关系上的笛卡尔积省很多时间。 
（5） 找出公共子表达式
●如果这种重复出现的子表达式的结果不是很大的关系
●并且从外存中读入这个关系比计算该子表达式的时间少得多
●则先计算一次公共子表达式并把结果写入中间文件是合算的。
●当查询的是视图时，定义视图的表达式就是公共子表达式的情况
●注意： 
  等价变换规则3使一些投影消失或使一些投影出现
 规则5把一个投影分裂为两个，其中一个有可能被移向树的叶端 
 规则3：     合并或分解投影运算
规则5,10,11：投影运算与其他运算交换

规则3：合并或分解投影运算
规则4：合并或分解选择运算
规则5：投影运算与选择运算交换


9.4 物理优化 
※代数优化改变查询语句中操作的次序和组合，不涉及底层的存取路径
※对于一个查询语句有许多存取方案，它们的执行效率不同， 仅仅进行代数优化是不够的 
※物理优化就是要选择高效合理的操作算法或存取路径，求得优化的查询计划 
※物理优化方法
●基于规则的启发式优化
    ⊙启发式规则是指那些在大多数情况下都适用，但不是在每种情况下都是适用的规则。
●基于代价估算的优化
      ⊙优化器估算不同执行策略的代价，并选出具有最小代价的执行计划。
●两者结合的优化方法：
      ⊙常常先使用启发式规则，选取若干较优的候选方案，减少代价估算的工作量
      ⊙然后分别计算这些候选方案的执行代价，较快地选出最终的优化方案  

9.4.1  基于启发式规则的存取路径选择优化
1.选择操作的启发式规则
●对于小关系，使用全表顺序扫描，即使选择列上有索引 
●对于大关系，启发式规则有：
（1）对于选择条件是“主码＝值”的查询
     ⊙查询结果最多是一个元组，可以选择主码索引
     ⊙一般的关系数据库管理系统会自动建立主码索引
（2）对于选择条件是“非主属性＝值”的查询，并且选择列上有索引
      ⊙要估算查询结果的元组数目
      ⊙如果比例较小(<10%)可以使用索引扫描方
      ⊙法
否则还是使用全表顺序扫描
（3）对于选择条件是属性上的非等值查询或者范围查询，并且选择列上有索引
●要估算查询结果的元组数目
        ⊙如果比例较小(<10%)可以使用索引扫描方法
       ⊙否则还是使用全表顺序扫描 
（4）对于用AND连接的合取选择条件
●如果有涉及这些属性的组合索引
       ⊙优先采用组合索引扫描方法
●如果某些属性上有一般的索引，可以用索引扫描方法
      ⊙通过分别查找满足每个条件的指针，求指针的交集
      ⊙通过索引查找满足部分条件的元组，然后在扫描这些元组时判断是否满足剩余条件
●其他情况：使用全表顺序扫描
（5）对于用OR连接的析取选择条件，一般使用全表顺序扫描

2.连接操作的启发式规则
（1）如果2个表都已经按照连接属性排序
      ⊙选用排序-合并算法
（2）如果一个表在连接属性上有索引
      ⊙选用索引连接算法
（3）如果上面2个规则都不适用，其中一个表较小
      ⊙选用Hash join算法
（4）可以选用嵌套循环方法，并选择其中较小的表，确切地讲是占用的块数(b)较少的表，作为外表(外循环的表) 。
    理由：
     ⊙设连接表R与S分别占用的块数为Br与Bs
     ⊙连接操作使用的内存缓冲区块数为K
     ⊙分配K-1块给外表
     ⊙如果R为外表，则嵌套循环法存取的块数为Br+BrBs/(K-1)
     ⊙显然应该选块数小的表作为外表  


9.6 小 结 
※查询处理是关系数据库管理系统的核心，查询优化技术是查询处理的关键技术 
※本章主要内容
●查询处理过程
[查询分析 查询检查 查询优化 查询执行]
●查询优化
    ⊙代数优化  [启发式代数优化]
  ⊙物理优化 

基于规则的存取路径优化
基于代价的优化
●查询执行 

自顶向下执行方式
自底向上执行方式
※比较复杂的查询，尤其是涉及连接和嵌套的查询
●不要把优化的任务全部放在关系数据库管理系统上
●应该找出关系数据库管理系统的优化规律，以写出适合关系数据库管理系统自动优化的SQL语句 
※对于关系数据库管理系统不能优化的查询需要重写查询语句，进行手工调整以优化性能