SQL基础-数据库执行及优化-2012.06.02听课记录+资料收集
SQL Server把批处理中的语句编译到一个被称为“执行计划”(execution plan)的可执行单元。在编译期间，编译器展开这些语句，其中包含该语句执行期间需要执行的相关约束、触发器以及级联操作。如果经过编译的批处理包含对其他存储过程或函数的调用，且缓存中没有他们的执行计划，则这些存储过程和函数也将被递归的编译。
批处理编译的主要步骤：
编译和执行查询处理是两个截然不同的阶段，有可能一个编译需要几个小时，可是执行该查询只需要几毫秒。处理即席查询时缓存中通常不包含其执行计划，因此它被编译后会立即执行。而经常执行的存储过程的已编译计划可能会在过程缓存中保留很长时间。在需要释放存储空间时，SQL Server会从过程缓存中首先移除不常用的计划
当SQL Server准备处理一个批处理时，如果缓存中不存在该批处理的执行计划，则编译该批处理并生成执行计划。
首先，SQL Server执行分析。分析是检查语法并把SQL批处理转换为分析树(parse tree)的过程，如检查表或列明是否以数字开头，但他不会检查WHERE中的列是否存在于FROM子句中所写的表中。
然后，SQL Server进行绑定。绑定过程确定SQL语句所引用对象的特征，他检查请求语义是否有意义，参见下面的Algebrizer。
优化是编译的最后一步。优化器必须把基于几何的非过程SQL语句转换为可以高效执行并返回期望结果的程序。与绑定类似，优化器一次只优化批处理中的一条语句。在编译器为该批处理生成执行计划并存储到过程缓存之后，将执行该计划的执行上下文的一个特殊副本。SQL Server像缓存查询计划一样缓存执行上下文。SQL Server并不优化批处理中的每条语句。它只优化那些访问表而且可能生成多个执行计划的语句。SQL Server优化所有的DML语句(SELECT、INSERT、DELETE、UPDATE)。除了DML ，一些T-SQL语句也会被优化，CREATE INDEX便是其中之一。只有被优化过的语句才会生成查询计划。
Algebrizer
由Algebrizer执行的整个过程称为绑定。
分析阶段输出的分析树，正是Algebrizer的输入。遍历几次分析树后，Algebrizer生成查询处理器树(query processor tree)，用于查询优化。
运算符平展：
Algebrizer展开二元运算符UNION、AND和OR。
在分析阶段，分析器把这些逻辑运算符都看作是二元的，就像下图左侧的样子。
而分析器之后的所有步骤则会把多个二元运算符组合成一个n元运算符，像右侧所示。这对于非常长的IN列表是非常重要的，分析器会把它转换为一连串的OR运算符。此外，展开运算符还会避免在后续传递中由非常深的树所引起的大部分堆溢出问题。SQL Server内部用于执行运算符展开的代码都尽可能的使用迭代而非递归，这样Algebrizer本身就不容易出现同样的问题。
聚合绑定：
首先看一个查询，T1和T2是两个表，T1有c1,c2两列，T2只有x一列。其中，T1.c2列与T2.x列具有同样的数据类型。
SELECT c1 FROM dbo.T1
GROUP BY c1
HAVING EXISTS
(SELECT * FROM dbo.T2
WHERE T2.x > MAX(T1.c2));
对于上面这个查询，SQL Server会在外层查询SELECT c1 FROM dbo.T1 GROUP BY c1时计算MAX聚合。MAX不是在内部查询中进行的吗？为什么不是在子查询中计算呢？因为每个聚合都需要绑定到他的宿主查询，这样才可以正确的计算聚合。
分组绑定：
看一个查询，T1是一个表，包含了c1、c2、c3列。
SELECT c1 + c2, MAX(c3) FROM dbo.T1GROUP BY c1 + c2;
这个表达式是合法的，但如果只在SELECT列表中使用c1，则不合法。因为分组查询与非分组查询有不同的语义。
在SELECT列表中，所有非聚合的列或表达式，必须在GROUP BY列表中有直接的对应项。检验是否满足这一规则的过程就叫做分组绑定。
不光如此，根据SQL的规定，只要出现绑定到特定列表的聚合函数，及时没有GROUP BY或HAVING，也会使SELECT列表被分组。
看这个例子：
SELECT c1, MAX(c2) FROM dbo.T1;
这是一个分组SELECT，因为查询中包含了一个MAX聚合，所以因为SELECT中有c1，所以这个查询是不合法的。
再看一个例子：
SELECT c1,
(SELECT T2.y
FROM dbo.T2
WHERE T2.x = MAX(T1.c2))
FROM dbo.T1;
这个查询也不合法，在聚合绑定中，我们知道MAX(T1.c2)是在外部查询中计算的，所以外部查询是一个分组，所以c1在SELECT列表中是非法的。
优化
处理查询时所涉及的最重要最复杂的组件是查询优化器。优化器的任务是为批处理或存储过程中的每个查询生成高校的执行计划。
这里先请查询优化器做一个自我介绍：“我是个基于成本的优化器，我会尝试为每个SQl语句生成成本最低的执行计划，我不会分析所有可能的组合，但会尝试找出成本非常接近理论最小值的一个执行计划”。
这里，查询分析器先生所说的成本，表现为估计的完成查询所需的时间。然而，最低时间成本不一定是最低资源成本。比如，使用多个CPU处理一个查询，有时会减少时间成本，但是却增加了资源成本。
查询分析器这时作出了补充：“我主张使用并行计划，而且如果对该服务器上的负载不会产生负面影响，SQL Server会使用并行计划来执行”。
优化本身包括几个步骤。细微计划优化是第一步。这一步产生的原因，是因为查询优化器做成本优化的本身成本较高。如果SQL Server通过分析该查询发现只有一种可行的计划，他就可以避免查询优化器做成本优化时初始化和执行所需的大量工作。
比如有这样一个情况：带有VALUES子句的INSERT语句，这个插入语句的目标表不参与任何索引视图，那么就只有一个可能的计划。
再比如，执行一个对没有索引的表，进行不带GROUP BY的SELECT查询。
查询优化器生成的这个细微计划的成本很低。
如果优化器没有找到细微计划，SQL Server将进行一些简化，以寻找可以被重新整理的可交换属性和操作，说白了就是对查询语句进行语法转换的简化。
比如，在联接之前计算表的WHERE筛选器就是一个简化的例子。因为在逻辑查询顺序中[见TSQL::(1)逻辑查询处理]，筛选器在联接之后计算，但在联接之前计算筛选器也可以得到正确的结果，而且是永远是更高效的，所以在简化这步会做出类似的语法优化。
再比如，看下面这个查询
USE Northwind;
SELECT
[Order Details].OrderID,
[Products].ProductName,
[Order Details].Quantity,
[Order Details].UnitPrice
FROM dbo.[Order Details]
LEFT OUTER JOIN dbo.Products
ON [Order Details].ProductID =Products.ProductID
WHERE Products.UnitPrice > 10;
这个加红的LEFT OUTER，会被简化为INNER，原因大家应该都知道。
下图是简化后的执行计划：
SQL Server做完了简化之后，查询优化器开始启动基于成本的优化过程。
通常，正确的结果都是相同的，但是有些不相同的结果也被认为是正确的。如：
SELECT TOP (10) <select_list> FROMOrders;
如果优化器比较所有可用计划的成本并选择成本最低的一个，优化过程会花费非常长的时间，因为可用的计划数量可能非常大。因此，优化被分成三个搜索阶段。
每个阶段关联一组转换规则。每个阶段之后，SQL Server会得到这个阶段成本最低的查询计划。当在某一个阶段的成本足够低，SQL Server将不再进行下一步的优化，而采用这个满足要求的计划。
阶段0：应用于至少包括4个表的查询。只使用有限的联接顺序数量，只考虑Hash联接和嵌套循环。如果找到成本低于0.2的计划，优化即结束。阶段0产生查询计划的查询通常出现在事务处理应用程序中，所以这个阶段也叫做事务处理阶段。
阶段1(非并行)：快速计划优化。他使用更多的转换规则并尝试不同的联接顺序。该阶段完成后，如果最佳计划的成本低于1.0，则优化结束。
阶段1(并行)：将再次执行阶段1的并行版本。当阶段1的两个版本都执行之后，将会比较两个版本的最佳计划，然后进入完全优化阶段。
阶段2：完全优化阶段。阶段2包括额外的规则，如：使用Outer Join重新排序并用索引视图自动替换多表视图。
总结以上的步骤，可以画出SQL Server查询优化的流程图：
SQL Server 2005中可以使用DMV(动态管理视图)sys.dm_exec_query_optimizer_info。这个视图提供了从SQL Server启动以来执行的所有优化的累积信息。
使用如下代码进行查询：
SET NOCOUNT ON;
USE Northwind; -- 这里使用你自己的数据库
DBCC FREEPROCCACHE; -- 清空过程缓存
GO
-- 我们将用tempdb..OptStats 表来捕获执行几次
-- sys.dm_exec_query_optimizer_info所得到的信息
IF (OBJECT_ID('tempdb..OptStats') ISNOT NULL)
DROP TABLE tempdb..OptStats;
GO
-- 这条语句用于创建临时表tempdb..OptStats
SELECT 0 AS Run, *
INTO tempdb..OptStats
FROMsys.dm_exec_query_optimizer_info;
GO
-- 该语句的计划将被保存到过程缓存
-- 这样当下一次执行时不产生任何优化器事件
-- 后面的GO用于确保下次执行这段脚本时
-- 可以重用INSERT的计划
GO
INSERT INTO tempdb..OptStats
SELECT 1 AS Run, *
FROMsys.dm_exec_query_optimizer_info;
GO
-- 原因同上，只是用"2"替换"1"
-- 这样我们将得到不同的计划
GO
INSERT INTO tempdb..OptStats
SELECT 2 AS RUN, *
FROMsys.dm_exec_query_optimizer_info;
-- 清空临时表
TRUNCATE TABLE tempdb..OptStats
GO
-- 存储“运行前的”信息
--把sys.dm_exec_query_optimizer_info的输出
-- 保存到临时表，RUn列的值为"1"
GO
INSERT INTO tempdb..OptStats
SELECT 1 AS Run, *
FROMsys.dm_exec_query_optimizer_info;
GO
-- 在这里执行你自己的语句或批处理
-- 下面是一个示例
SELECT C.CustomerID, COUNT(O.OrderID)AS NumOrders
FROM dbo.Customers AS C
LEFT OUTER JOIN dbo.Orders AS O
ON C.CustomerID = O.CustomerID
WHERE C.City = 'London'
GROUP BY C.CustomerID
HAVING COUNT(O.OrderID) > 5
ORDER BY NumOrders;
-- 示例结束
GO
-- 存储“运行后的”信息，
--把sys.dm_exec_query_optimizer_info的输出
-- 保存到临时表，Run列的值为"2"
GO
INSERT INTO tempdb..OptStats
SELECT 2 AS Run, *
FROMsys.dm_exec_query_optimizer_info;
GO
-- 从临时表中提取出Runs1和Runs2之间
-- OCCURRENCE 或Value值发生变化的所有事件
-- 然后显示执行批处理或查询之前(Run1Occourence和Run1Value)
-- 和之后所有这些事件(Run2Occurrence和Run2Value)
-- 的Occurrence和Value。
WITH X (Run, Counter, Occurrence,Value)
AS
(
SELECT *
FROM tempdb..OptStats WHERE Run=1
),
Y (Run, Counter, Occurrence, Value)
AS
(
SELECT *
FROM tempdb..OptStats
WHERE Run=2
)
SELECT X.Counter,Y.Occurrence-X.Occurrence ASOccurrenc,
CASE (Y.Occurrence-X.Occurrence)
WHEN 0 THEN(Y.Value*Y.Occurrence-x.Value*x.Occurrence)
ELSE(Y.Value*Y.Occurrence-X.Value*X.Occurrence)/(Y.Occurrence-x.Occurrence)
END AS Value
FROM X JOIN Y
ON (X.Counter=Y.Counter
AND (X.Occurrence<>Y.OccurrenceOR x.Value<>Y.Value));
GO
-- 删除临时表
DROP TABLE tempdb..OptStats;
GO
执行结果：
第一步：应用程序把查询SQL语句发给服务器端执行。
我们在数据层执行SQL语句时,应用程序会连接到相应的数据库服务器,把SQL语句发送给服务器处理。
第二步：服务器解析请求的SQL语句。
1:SQL计划缓存 ,经常用查询分析器的朋友大概都知道这样一个事实,往往一个查询语句在第一次运行的时候需要执行特别长的时间,但是如果你马上或者在一定时间内运行同样的语句,会在很短的时间内返回查询结果。
原因:
1):服务器在接收到查询请求后,并不会马上去数据库查询,而是在数据库中的计划缓存中找是否有相对应的执行计划,如果存在,就直接调用已经编译好的执行计划,节省了执行计划的编译时间。2):如果所查询的行已经存在于 数据缓冲存储区 中,就不用查询物理文件了,而是从缓存中取数据,这样从内存中取数据就会比从硬盘上读取数据快很多,提高了查询效率.数据缓冲存储区会在后面提到。
2:如果在SQL计划缓存中没有对应的执行计划,服务器首先会对用户请求的SQL语句进行语法效验,如果有语法错误,服务器会结束查询操作,并用返回相应的错误信息给调用它的应用程序。
注意:此时返回的错误信息中,只会包含基本的语法错误信息,例如select 写成selec等,错误信息中如果包含一列表中本没有的列,此时服务器是不会检查出来的,因为只是语法验证,语义是否正确放在下一步进行。
3:语法符合后,就开始验证它的语义是否正确,例如,表名,列名,存储过程等等数据库对象是否真正存在,如果发现有不存在的,就会报错给应用程序,同时结束查询。
4:接下来就是获得对象的解析锁,我们在查询一个表时,首先服务器会对这个对象加锁,这是为了保证数据的统一性,如果不加锁,此时有数据插入,但因为没有加锁的原因,查询已经将这条记录读入,而有的插入会因为事务的失败会回滚,就会形成脏读的现象。
注:这条总结经过园友周强,深蓝的提示,上周末去书店查阅了<<SQL 2005技术内幕>>,对于服务器什么时候获得对象的解析锁,并没有太明显的说明,我只知道在做查询操作时,一般都会给访问对象加上共享锁。如果大家在这方面的权威说明文章，可以指教。
5:接下来就是对数据库用户权限的验证,SQL语句语法,语义都正确,此时并不一定能够得到查询结果,如果数据库用户没有相应的访问权限,服务器会报出权限不足的错误给应用程序,在稍大的项目中,往往一个项目里面会包含好几个数据库连接串,这些数据库用户具有不同的权限,有的是只读权限,有的是只写权限,有的是可读可写,根据不同的操作选取不同的用户来执行,稍微不注意,无论你的SQL语句写的多么完善,完美无缺都没用。
注：此条结论同第4条下面的注。同样希望大家指教。
6:解析的最后一步,就是确定最终的执行计划。当语法,语义,权限都验证后,服务器并不会马上给你返回结果,而是会针对你的SQL进行优化,选择不同的查询算法以最高效的形式返回给应用程序。例如在做表联合查询时,服务器会根据开销成本来最终决定采用hash join,merge join ,还是loop join,采用哪一个索引会更高效等等,不过它的自动化优化是有限的,要想写出高效的查询SQL还是要优化自己的SQL查询语句。
当确定好执行计划后,就会把这个执行计划保存到SQL计划缓存中,下次在有相同的执行请求时,就直接从计划缓存中取,避免重新编译执行计划。
对园友周强观点的一点说明：
-----------------引用-------------------------
5.如果“Algebrizer”组件对第4步能够正确完成，则最终生成查询处理器树，用于查询优化。优化完成后，生成最终的执行计划。
6，上面这一大片过程，称为“编译”和“优化”。
----------------------------------------------
通过上面的说明，很清楚的看得出，把优化当成执行计划之后的步骤，其实<<SQL 2005技术内幕>>一书中，把优化当成执行计划的最后一部分，即优化属于执行计划的一部分，而不是在执行计划之后。其它的观点基本同意。
第三步：语句执行。
服务器对SQL语句解析完成后,服务器才会知道这条语句到底表态了什么意思,接下来才会真正的执行SQL语句。
些时分两种情况:
1):如果查询语句所包含的数据行已经读取到数据缓冲存储区的话,服务器会直接从数据缓冲存储区中读取数据返回给应用程序,避免了从物理文件中读取,提高查询速度。
2):如果数据行没有在数据缓冲存储区中,则会从物理文件中读取记录返回给应用程序,同时把数据行写入数据缓冲存储区中,供下次使用。说明:SQL缓存分好几种,这里有兴趣的朋友可以去搜索一下,有时因为缓存的存在,使得我们很难马上看出优化的结果,因为第二次执行因为有缓存的存在,会特别快速,所以一般都是先消除缓存,然后比较优化前后的性能表现,这里有几个常用的方法:
DBCC DROPCLEANBUFFERS
从缓冲池中删除所有清除缓冲区。
DBCC FREEPROCCACHE
从过程缓存中删除所有元素。
DBCC FREESYSTEMCACHE
从所有缓存中释放所有未使用的缓存条目。SQL Server 2005 数据库引擎会事先在后台清理未使用的缓存条目，以使内存可用于当前条目。但是，可以使用此命令从所有缓存中手动删除未使用的条目。
这只能基本消除SQL缓存的影响,目前好像没有完全消除缓存的方案,如果大家有,请指教。
结论: 只有知道了服务执行应用程序提交的SQL的操作流程才能很好的调试我们的应用程序。
1:确保SQL语法正确;
2:确保SQL语义上的正确性,即对象是否存在;
3:数据库用户是否具有相应的访问权限。
索引
http://www.cnblogs.com/aqbyygyyga/archive/2012/02/23/2364693.html
insert，update，delete语句都会破环表的索引结构，因为如图所示，假如删除P2，那么这就空了一块，从而产生碎片，导致整个结构都乱了，所以需要通过命令来重新生成索引或重新整理索引
索引的使用并不需要显式使用，建立索引后查询分析器会自动找出最短路径使用索引.
但是有这种情况.当随着数据量的增长，产生了索引碎片后，很多存储的数据进行了不适当的跨页，会造成碎片(关于跨页和碎片以及填充因子的介绍，我会在后续文章中说到)我们需要重新建立索引以加快性能:
比如前面的test_tb2上建立的一个聚集索引和非聚集索引，可以通过DMV语句查询其索引的情况:
SELECT index_type_desc,alloc_unit_type_desc,avg_fragmentation_in_percent,fragment_count,avg_fragment_size_in_pages,page_count,record_count,avg_page_space_used_in_percent FROM sys.dm_db_index_physical_stats(DB_ID('AdventureWorks'),OBJECT_ID('test_tb2'),NULL,NULL,'Sampled')
我们可以通过重建索引来提高速度:
还有一种情况是，当随着表数据量的增大，有时候需要更新表上的统计信息，让查询分析器根据这些信息选择路径，使用:
UPDATE STATISTICS 表名
那么什么时候知道需要更新这些统计信息呢，就是当执行计划中估计行数和实际表的行数有出入时:
使用索引的代价
我最喜欢的一句话是”everything has price”。我们通过索引获得的任何性能提升并不是不需要付出代价。这个代价来自几方面.
1.通过聚集索引的原理我们知道，当表建立索引后，就以B树来存储数据.所以当对其进行更新插入删除时，就需要页在物理上的移动以调整B树.因此当更新插 入删除数据时，会带来性能的下降。而对于非聚集索引，当更新表后，非聚集索引也需要进行更新，相当于多更新了N（N=非聚集索引数量）个表。因此也下降了 性能.
2.通过上面对非聚集索引原理的介绍，可以看到，非聚集索引需要额外的磁盘空间。
3.前文提过，不恰当的非聚集索引反而会降低性能.
所以使用索引需要根据实际情况进行权衡.通常我都会将非聚集索引全部放到另外一个独立硬盘上，这样可以分散IO，从而使查询并行.
ALTER INDEX idx_text_tb2_EmployeeID ON test_tb2 REBUILD
集合索引就是，这里面的3和5相当于数据，指向3的时候就相当于指向了数据
非集合索引就是3是个指针，它有指向一个位置
聚集在索引中的定义:
为了提高某个属性(或属性组)的查询速度，把这个或这些属性(称为聚集码)上具有相同值的元组集中存放在连续的物理块称为聚集。
简单来说，聚集索引就是:
因为每个表只能有一个聚集索引，如果我们对一个表的查询不仅仅限于在聚集索引上的字段。我们又对聚集索引列之外还有索引的要求，那么就需要非聚集索引了.
非聚集索引，本质上来说也是聚集索引的一种.非聚集索引并不改变其所在表的物理结构，而是额外生成一个聚集索引的B树结构，但叶子节点是对于其所在表的引 用,这个引用分为两种，如果其所在表上没有聚集索引，则引用行号。如果其所在表上已经有了聚集索引，则引用聚集索引的页.
类似于按照部首来查询一个字
一个简单的非聚集索引概念如下:
可以看到，非聚集索引需要额外的空间进行存储，按照被索引列进行聚集索引，并在B树的叶子节点包含指向非聚集索引所在表的指针.