SQL CTE学习总结

一句SQL完成动态分级查询

http://www.cnblogs.com/powertoolsteam/p/sqlite.html
在最近的活字格项目中使用ActiveReports报表设计器设计一个报表模板时，遇到一个多级分类的难题：需要将某个部门所有销售及下属部门的销售金额汇总，因为下属级别的层次不确定，所以靠拼接子查询的方式显然是不能满足要求，经过一番实验，利用了CTE（Common Table Expression）很轻松解决了这个问题！


举例：有如下的部门表


以及员工表


如果想查询所有西北区的员工（包含西北、西安、兰州），如下图所示：


如何用CTE的方式实现呢？
Talk is cheap. Show me the code


复制代码
-- 以下代码使用SQLite 3.18.0 测试通过
WITH
    [depts]([dept_id]) AS(
        SELECT [d].[dept_id]
        FROM   [dept] [d]
               JOIN [employees] [e] ON [d].[dept_id] = [e].[dept_id]
        WHERE  [e].[emp_name] = '西北-经理'
        UNION ALL
        SELECT [d].[dept_id]
        FROM   [dept] [d]
               JOIN [depts] [s] ON [d].[parent_id] = [s].[dept_id]
    )
SELECT *
FROM   [employees]
WHERE  [dept_id] IN (SELECT [dept_id]
       FROM   [depts]);
复制代码
可能有些同学对CTE（Common Table Expression）还不太熟悉，这里简单说一下，有兴趣的同学可以google或者百度，介绍很多（这里以SQLite举例）： 


我还是更喜欢称CTE（Common Table Expression）为“公用表变量”而不是“公用表达式”，因为从行为和使用场景上讲，CTE更多的时候是产生（分迭代或者不迭代）结果集，供其后的语句使用（查询、插入、删除或更新），如上述的例子就是一个典型的利用迭代遍历树形结构数据。


CTE的优点：


递归的特点使得原本需要使用临时表、存储过程才能完成的逻辑，通过SQL就可以完成，尤其针对一些树或者是图的数据模型
因为是会话内的临时结果集，不需要去显示的声明或销毁
改写后的SQL语句可读性提高（看的明白才能修改）
给数据库引擎优化执行计划的可能性（这个不是肯定的，需要根据具体CTE的实现有关），优化了执行计划，自然地性能就能上升
 
为了更好的说明CTE的能力，这里附上两个例子（转自SQLite官网文档）


曼德勃罗集合（Mandelbrot set）


复制代码
-- 以下代码使用SQLite 3.18.0 测试通过
WITH RECURSIVE
  xaxis(x) AS (VALUES(-2.0) UNION ALL SELECT x+0.05 FROM xaxis WHERE x<1.2),
  yaxis(y) AS (VALUES(-1.0) UNION ALL SELECT y+0.1 FROM yaxis WHERE y<1.0),
  m(iter, cx, cy, x, y) AS (
    SELECT 0, x, y, 0.0, 0.0 FROM xaxis, yaxis
    UNION ALL
    SELECT iter+1, cx, cy, x*x-y*y + cx, 2.0*x*y + cy FROM m 
     WHERE (x*x + y*y) < 4.0 AND iter<28
  ),
  m2(iter, cx, cy) AS (
    SELECT max(iter), cx, cy FROM m GROUP BY cx, cy
  ),
  a(t) AS (
    SELECT group_concat( substr(' .+*#', 1+min(iter/7,4), 1), '') 
    FROM m2 GROUP BY cy
  )
SELECT group_concat(rtrim(t),x'0a') FROM a;
复制代码
运行后的结果，如下图：（使用SQLite Expert Personal 4.2 x64）


数独问题（Sudoku）


假设有类似下图的问题：


-- 以下代码使用SQLite 3.18.0 测试通过
WITH RECURSIVE
  input(sud) AS (
    VALUES('53..7....6..195....98....6.8...6...34..8.3..17...2...6.6....28....419..5....8..79')
  ),
  digits(z, lp) AS (
    VALUES('1', 1)
    UNION ALL SELECT
    CAST(lp+1 AS TEXT), lp+1 FROM digits WHERE lp<9
  ),
  x(s, ind) AS (
    SELECT sud, instr(sud, '.') FROM input
    UNION ALL
    SELECT
      substr(s, 1, ind-1) || z || substr(s, ind+1),
      instr( substr(s, 1, ind-1) || z || substr(s, ind+1), '.' )
     FROM x, digits AS z
    WHERE ind>0
      AND NOT EXISTS (
            SELECT 1
              FROM digits AS lp
             WHERE z.z = substr(s, ((ind-1)/9)*9 + lp, 1)
                OR z.z = substr(s, ((ind-1)%9) + (lp-1)*9 + 1, 1)
                OR z.z = substr(s, (((ind-1)/3) % 3) * 3
                        + ((ind-1)/27) * 27 + lp
                        + ((lp-1) / 3) * 6, 1)
         )
  )
SELECT s FROM x WHERE ind=0;
复制代码
执行结果（结果中的数字就是对应格子中的答案）


附：SQLite中CTE（WITH关键字）语法图解：


WITH


cte-table-name


Select-stmt:


总结
CTE是解决一些特定问题的利器，但了解和正确的使用是前提，在决定将已有的一些SQL重构为CTE之前，确保对已有语句有清晰的理解以及对CTE足够的学习！Good Luck~~~


附件：用到的SQL脚本
========

T-SQL 公用表表达式(CTE)

http://www.cnblogs.com/CareySon/archive/2011/12/12/2284740.html


公用表表达式(CTE)
　　在编写T-SQL代码时，往往需要临时存储某些结果集。前面我们已经广泛使用和介绍了两种临时存储结果集的方法：临时表和表变量。除此之外，还可以使用公用表表达式的方法。公用表表达式(Common Table Expression)是SQL Server2005版本的引入的一个特性。CTE可以看组是一个临时的结果集，可以再接下来来的一个SELECT,INSERT,UPDATE,DELETE,MERGE语句中多次引用。使用公用表达式CTE可以让语句更加清晰简练。与公用表达式作用类似的还有临时表和表变量。下面给出三种方法的对比。


　　1、3种方法比较


　　　(一)、临时表：需要在临时数据库TempDB中通过I/O操作来创建表结构，一旦用户推出SQL Server环境则自动被删除。


　　　(二)、表变量：在内存中以表结构的形式存在，其定义与变量一致，其使用与表类似，不需要产生I/O。


　　　(三)、公用表表达式：Common Table Expression，定义在内存中保存的临时存储结果集对象，不产生I/O，不需要按照表变量这样定义，使用方法和表类似。可以自己引用，也可以再查询中被多次引用。


　　2、WITH AS的含义


　　WITH AS-做子查询部分(subquery factoring)。


　　它用于定义一个SQL片段，该片段会被是整个SQL语句所用到。如果WITH AS所以定的表名被调用两次以上，则优化器会自动将WITH AS所获取的数据放入临时表里，如果只是被调用一次，则不会。可以通过materialize将WITH AS短语里的数据强制放入全局临时表里。


　　WITH AS可以被紧跟着的一条SQL语句所使用多次，但不能被紧跟着的多条SQL语句使用。


WITH B AS 
(
    SELECT * FROM xxx WHERE Id > 5
)
SELECT * FROM B
　　3、CTE的定义


　　　CTE的定义语法如下，主要包括3个部分。


　　　(一)、Expression_name:CTE表达式的名称。


　　　(二)、Column_name:列名列表。


　　　(三)、CTE_query_definition:定义CTE结果集的Select查询语句


　　WITH expression_name [(column_name [,...n] )]
　　AS
　　( 
　　　　cte_query_definition 
　　)
　　根据微软对CTE好处的描述，可以归结为四点:


　　可以定义递归公用表表达式(CTE)
　　当不需要将结果集作为视图被多个地方引用时，CTE可以使其更加简洁
　　GROUP BY语句可以直接作用于子查询所得的标量列
　　可以在一个语句中多次引用公用表表达式(CTE)
　　按照是否递归，可以将公用表（CTE）表达式分为递归公用表表达式和非递归公用表表达式.


　　非递归公用表表达式(CTE)：


　　非递归公用表表达式（CTE）是查询结果仅仅一次性返回一个结果集用于外部查询调用。并不在其定义的语句中调用其自身的CTE。


　　非递归公用表表达式（CTE）的使用方式和视图以及子查询一致。


　　比如一个简单的非递归公用表表达式:


WITH CTE_Test
AS
(
    SELECT * FROM Person_1
)
SELECT * FROM CTE_Test
　　公用表表达式的好处之一是可以在接下来一条语句中多次引用:


复制代码
　　WITH CTE_Test
　　AS
　　(
    　　SELECT * FROM Person_1
　　)
　　SELECT * FROM CTE_Test AS a　　--第一次引用
　　INNER JOIN  CTE_Test AS b　　　 --第二次引用
　　ON a.Id = b.Id
　　ORDER BY a.Id DESC
复制代码
　　虽然以上引用了多次，但是只是一条语句，所以可以正常执行。


　　如果多条语句引用，如下面这样，是会报错的。


复制代码
　　WITH CTE_Test
　　AS
　　(
    　　SELECT * FROM Person_1
　　)
　　SELECT * FROM CTE_Test 


　　SELECT * FROM CTE_Test
复制代码
　　输出结果如下：
　　


　　由于CTE只能在接下来一条语句中使用，因此，当需要接下来的一条语句中引用多个CTE时，可以定义多个，中间用逗号分隔,下面是一次定义多个CTE的例子：


复制代码
WITH CTE_Test1
AS
(
SELECT * FROM Person_1
),
CTE_Test2
AS
(
SELECT * FROM Person_2
)
SELECT * FROM CTE_Test1
UNION
SELECT * FROM CTE_Test2
复制代码
　　结果如下：
　　


　　　递归公用表表达式(CTE)：


   　　对于递归公用表达式来说，只需要在语句中定义两部分：


   基本语句
   递归语句
   　　先建一张表栏目表如下，栏目Id，栏目名称，栏目的父栏目。
　　　


　　现在使用CTE查询其每个栏目是第几层栏目的代码如下：


复制代码
WITH COL_CTE(Id,Name,ParentId,tLevel )
AS
(
    --基本语句
    SELECT Id,Name,ParentId,0 AS tLevel FROM Col
    WHERE ParentId = 0
    UNION ALL
    --递归语句
    SELECT c.Id,c.Name,c.ParentId,ce.tLevel+1 AS tLevel FROM COL as c 
    INNER JOIN COL_CTE AS ce 　　--递归调用
    ON c.ParentId = ce.Id
)


SELECT * FROM COL_CTE
复制代码
　　输出结果如下：
　　


　　0表示顶级栏目。1就是1级栏目。语法非常优雅。就一个SELECT * FRON COL_CTE。这正是CTE强大的地方，但是，这要有约束，否则如果无限制递归可以会消耗掉非常多的系统资源。下面来看看如何限制递归的最大次数。


　　如将上面的查询语法改为：


复制代码
WITH COL_CTE(Id,Name,ParentId,tLevel )
AS
(
    --基本语句
    SELECT Id,Name,ParentId,0 AS tLevel FROM Col
    WHERE ParentId = 0
    UNION ALL
    --递归语句
    SELECT c.Id,c.Name,c.ParentId,ce.tLevel+1 AS tLevel FROM COL as c 
    INNER JOIN COL_CTE AS ce 
    ON c.ParentId = ce.Id
)


SELECT * FROM COL_CTE
OPTION(MAXRECURSION 2)　　--指定最大递归次数为2
复制代码
　　我们知道在上面的查询中，要查到天河区新闻最少要递归3次，但是现在只递归2次，运行是什么结果呢？


　　
　　提示信息如下：


　　消息 530，级别 16，状态 1，第 1 行
　　语句被终止。完成执行语句前已用完最大递归 2。
 　　CTE是一种十分优雅的存在。CTE所带来最大的好处是代码可读性的提升,这是良好代码的必须品质之一。使用递归CTE可以更加轻松愉快的用优雅简洁的方式实现复杂的查询。
========

T-SQL查询进阶--详解公用表表达式(CTE)

简介


     对于SELECT查询语句来说,通常情况下，为了使T-SQL代码更加简洁和可读，在一个查询中引用另外的结果集都是通过视图而不是子查询来进行分解的.但是，视图是作为系统对象存在数据库中，那对于结果集仅仅需要在存储过程或是用户自定义函数中使用一次的时候，使用视图就显得有些奢侈了.


    公用表表达式（Common Table Expression)是SQL SERVER 2005版本之后引入的一个特性.CTE可以看作是一个临时的结果集，可以在接下来的一个SELECT,INSERT,UPDATE,DELETE,MERGE语句中被多次引用。使用公用表达式可以让语句更加清晰简练.


     除此之外，根据微软对CTE好处的描述，可以归结为四点:


     可以定义递归公用表表达式(CTE)
     当不需要将结果集作为视图被多个地方引用时，CTE可以使其更加简洁
    GROUP BY语句可以直接作用于子查询所得的标量列
    可以在一个语句中多次引用公用表表达式(CTE)
 


公用表表达式(CTE)的定义


    公用表达式的定义非常简单，只包含三部分：


  公用表表达式的名字（在WITH之后）
  所涉及的列名（可选）
  一个SELECT语句(紧跟AS之后)
    在MSDN中的原型：


WITH expression_name [ ( column_name [,...n] ) ] 


AS 


( CTE_query_definition ) 
 


   按照是否递归，可以将公用表（CTE）表达式分为递归公用表表达式和非递归公用表表达式.


 


非递归公用表表达式(CTE)


   非递归公用表表达式（CTE）是查询结果仅仅一次性返回一个结果集用于外部查询调用。并不在其定义的语句中调用其自身的CTE


   非递归公用表表达式（CTE）的使用方式和视图以及子查询一致


   比如一个简单的非递归公用表表达式:


   1


   当然，公用表表达式的好处之一是可以在接下来一条语句中多次引用:


   2


   前面我一直强调“在接下来的一条语句中”，意味着只能接下来一条使用:


   3


   由于CTE只能在接下来一条语句中使用，因此，当需要接下来的一条语句中引用多个CTE时，可以定义多个，中间用逗号分隔：


   4


递归公用表表达式(CTE)


    递归公用表表达式很像派生表（Derived Tables ），指的是在CTE内的语句中调用其自身的CTE.与派生表不同的是，CTE可以在一次定义多次进行派生递归.对于递归的概念，是指一个函数或是过程直接或者间接的调用其自身，递归的简单概念图如下:


   1


    递归在C语言中实现的一个典型例子是斐波那契数列:


long fib(int n) 　　
{ 　 
     if (n==0) return 0;
 　　if (n==1) return 1; 　　
     if (n>1) return fib(n-1)+fib(n-2);
} 
  


   上面C语言代码可以看到，要构成递归函数，需要两部分。第一部分是基础部分，返回固定值，也就是告诉程序何时开始递归。第二部分是循环部分，是函数或过程直接或者间接调用自身进行递归.


   对于递归公用表达式来说，实现原理也是相同的，同样需要在语句中定义两部分：


   基本语句
   递归语句
   在SQL这两部分通过UNION ALL连接结果集进行返回:


   比如：在AdventureWork中，我想知道每个员工所处的层级，0是最高级


   5


   这么复杂的查询通过递归CTE变得如此优雅和简洁.这也是CTE最强大的地方.


   当然，越强大的力量，就需要被约束.如果使用不当的话，递归CTE可能会出现无限递归。从而大量消耗SQL Server的服务器资源.因此，SQL Server提供了OPTION选项，可以设定最大的递归次数:


   还是上面那个语句，限制了递归次数:


   6


   所提示的消息:


   7


   这个最大递归次数往往是根据数据所代表的具体业务相关的，比如这里，假设公司层级最多只有2层.


总结 


    CTE是一种十分优雅的存在。CTE所带来最大的好处是代码可读性的提升,这是良好代码的必须品质之一。使用递归CTE可以更加轻松愉快的用优雅简洁的方式实现复杂的查询。
========