聚集索引
聚集索引确定表中数据的物理顺序。聚集索引类似于电话簿,后者按姓氏排列数据。由于聚集索引规定数据在表中的物理存储顺序,因此一个表只能包含一个聚集索引。但该索引可以包含多个列(组合索引),就像电话簿按姓氏和名字进行组织一样。
聚集索引对于那些经常要搜索范围值的列特别有效。使用聚集索引找到包含第一个值的行后,便可以确保包含后续索引值的行在物理相邻。例如,如果应用程序执行的一个查询经常检索某一日期范围内的记录,则使用聚集索引可以迅速找到包含开始日期的行,然后检索表中所有相邻的行,直到到达结束日期。这样有助于提高此类查询的性能。同样,如果对从表中检索的数据进行排序时经常要用到某一列,则可以将该表在该列上聚集(物理排序),避免每次查询该列时都进行排序,从而节省成本。
当索引值唯一时,使用聚集索引查找特定的行也很有效率。例如,使用唯一雇员
ID
列
emp_id
查找特定雇员的最快速的方法,是在
emp_id
列上创建聚集索引或
PRIMARY KEY
约束。
说明:如果该表上尚未创建聚集索引,且在创建
PRIMARY KEY
约束时未指定非聚集索引,
PRIMARY KEY
约束会自动创建聚集索引。
也可以在
lname
(姓氏)列和
fname
(名字)列上创建聚集索引,因为雇员记录常常是按姓名而不是按雇员
ID
分组和查询的。
非聚集索引
非聚集索引与课本中的索引类似。数据存储在一个地方,索引存储在另一个地方,索引带有指针指向数据的存储位置。索引中的项目按索引键值的顺序存储,而表中的信息按另一种顺序存储(这可以由聚集索引规定)。如果在表中未创建聚集索引,则无法保证这些行具有任何特定的顺序。
与使用书中索引的方式相似,
Microsoft SQL Server 2000
在搜索数据值时,先对非聚集索引进行搜索,找到数据值在表中的位置,然后从该位置直接检索数据。这使非聚集索引成为精确匹配查询的最佳方法,因为索引包含描述查询所搜索的数据值在表中的精确位置的条目。如果基础表使用聚集索引排序,则该位置为聚集键值;否则,该位置为包含行的文件号、页号和槽号的行
ID (RID)
。例如,对于在
emp_id
列上有非聚集索引的表,如要搜索其雇员
ID (emp_id)
,
SQL Server
会在索引中查找这样一个条目,该条目精确列出匹配的
emp_id
列在表中的页和行,然后直接转到该页该行。
多个非聚集索引
有些书籍包含多个索引。例如,一本介绍园艺的书可能会包含一个植物通俗名称索引,和一个植物学名索引,因为这是读者查找信息的两种最常用的方法。对于非聚集索引也是如此。可以为在表中查找数据时常用的每个列创建一个非聚集索引。
注意事项
在创建非聚集索引之前,应先了解您的数据是如何被访问的。可考虑将非聚集索引用于:
v
包含大量非重复值的列,如姓氏和名字的组合(如果聚集索引用于其它列)。如果只有很少的非重复值,如只有
1
和
0
,则大多数查询将不使用索引,因为此时表扫描通常更有效。
v
不返回大型结果集的查询。
v
返回精确匹配的查询的搜索条件(
WHERE
子句)中经常使用的列。
v
经常需要联接和分组的决策支持系统应用程序。应在联接和分组操作中使用的列上创建多个非聚集索引,在任何外键列上创建一个聚集索引。
v
在特定的查询中覆盖一个表中的所有列。这将完全消除对表或聚集索引的访问。
--------------
PRIMARY KEY
约束
表中经常有一个列或列的组合,其值能唯一地标识表中的每一行。这样的一列或多列称为表的主键,通过它可强制表的实体完整性。当创建或更改表时可通过定义
PRIMARY KEY
约束来创建主键。
一个表只能有一个
PRIMARY KEY
约束,而且
PRIMARY KEY
约束中的列不能接受空值。由于
PRIMARY KEY
约束确保唯一数据,所以经常用来定义标识列。
当为表指定
PRIMARY KEY
约束时,
Microsoft® SQL Server™ 2000
通过为主键列创建唯一索引强制数据的唯一性。当在查询中使用主键时,该索引还可用来对数据进行快速访问。
如果
PRIMARY KEY
约束定义在不止一列上,则一列中的值可以重复,但
PRIMARY KEY
约束定义中的所有列的组合的值必须唯一。
1
、什么是聚集索引和非聚集索引
SQL SERVER
提供了两种索引:聚集索引(
clustered index
,也称聚类索引、簇集索引)和非聚集索引(
nonclustered index
,也称非聚类索引、非簇集索引)。
其实,我们的汉语字典的正文本身就是一个聚集索引。比如,我们要查“安”字,就会很自然地翻开字典的前几页,因为“安”的拼音是“
an
”,而按照拼音排序汉字的字典是以英文字母“
a
”开头并以“
z
”结尾的,那么“安”字就自然地排在字典的前部。如果您翻完了所有以“
a
”开头的部分仍然找不到这个字,那么就说明您的字典中没有这个字;同样的,如果查“张”字,那您也会将您的字典翻到最后部分,因为“张”的拼音是“
zhang
”。也就是说,字典的正文部分本身就是一个目录,您不需要再去查其他目录来找到您需要找的内容。我们把这种正文内容本身就是一种按照一定规则排列的目录称为“聚集索引”。
如果您认识某个字,您可以快速地从自动中查到这个字。但您也可能会遇到您不认识的字,不知道它的发音,这时候,您就不能按照刚才的方法找到您要查的字,而需要去根据“偏旁部首”查到您要找的字,然后根据这个字后的页码直接翻到某页来找到您要找的字。但您结合“部首目录”和“检字表”而查到的字的排序并不是真正的正文的排序方法,比如您查“张”字,我们可以看到在查部首之后的检字表中“张”的页码是
672
页,检字表中“张”的上面是“驰”字,但页码却是
63
页,“张”的下面是“弩”字,页面是
390
页。很显然,这些字并不是真正的分别位于“张”字的上下方,现在您看到的连续的“驰、张、弩”三字实际上就是他们在非聚集索引中的排序,是字典正文中的字在非聚集索引中的映射。我们可以通过这种方式来找到您所需要的字,但它需要两个过程,先找到目录中的结果,然后再翻到您所需要的页码。我们把这种目录纯粹是目录,正文纯粹是正文的排序方式称为“非聚集索引”。
通过以上例子,我们可以理解到什么是“聚集索引”和“非聚集索引”。进一步引申一下,我们可以很容易的理解:每个表只能有一个聚集索引,因为目录只能按照一种方法进行排序。
2
、何时使用聚集索引或非聚集索引
下面的表总结了何时使用聚集索引或非聚集索引(很重要):
动作描述
使用聚集索引
使用非聚集索引
列经常被分组排序
应
应
返回某范围内的数据
应
不应
一个或极少不同值
不应
不应
小数目的不同值
应
不应
大数目的不同值
不应
应
频繁更新的列
不应
应
外键列
应
应
主键列
应
应
频繁修改索引列
不应
应
事实上,我们可以通过前面聚集索引和非聚集索引的定义的例子来理解上表。如:返回某范围内的数据一项。比如您的某个表有一个时间列,恰好您把聚合索引建立在了该列,这时您查询
2004
年
1
月
1
日
至
2004
年
10
月
1
日
之间的全部数据时,这个速度就将是很快的,因为您的这本字典正文是按日期进行排序的,聚类索引只需要找到要检索的所有数据中的开头和结尾数据即可;而不像非聚集索引,必须先查到目录中查到每一项数据对应的页码,然后再根据页码查到具体内容。
3
、索引是如何工作的?改善
SQL
语句
很多人不知道
SQL
语句在
SQL SERVER
中是如何执行的,他们担心自己所写的
SQL
语句会被
SQL SERVER
误解。比如:
select * from table1 where name=''zhangsan'' and tID > 10000
和执行
:
select * from table1 where tID > 10000 and name=''zhangsan''
一些人不知道以上两条语句的执行效率是否一样,因为如果简单的从语句先后上看,这两个语句的确是不一样,如果
tID
是一个聚合索引,那么后一句仅仅从表的
10000
条以后的记录中查找就行了;而前一句则要先从全表中查找看有几个
name=''zhangsan''
的,而后再根据限制条件条件
tID>10000
来提出查询结果。
事实上,这样的担心是不必要的。
SQL SERVER
中有一个“查询分析优化器”,它可以计算出
where
子句中的搜索条件并确定哪个索引能缩小表扫描的搜索空间,也就是说,它能实现自动优化。
虽然查询优化器可以根据
where
子句自动的进行查询优化,但大家仍然有必要了解一下“查询优化器”的工作原理,如非这样,有时查询优化器就会不按照您的本意进行快速查询。
在查询分析阶段,查询优化器查看查询的每个阶段并决定限制需要扫描的数据量是否有用。如果一个阶段可以被用作一个扫描参数(
SARG
),那么就称之为可优化的,并且可以利用索引快速获得所需数据。
SARG
的定义:用于限制搜索的一个操作,因为它通常是指一个特定的匹配,一个值得范围内的匹配或者两个以上条件的
AND
连接。形式如下:
列名
操作符
<
常数
或
变量
>
或
<
常数
或
变量
>
操作符列名
列名可以出现在操作符的一边,而常数或变量出现在操作符的另一边。如:
Name=
’张三’
价格
>5000
5000<
价格
Name=
’张三’
and
价格
>5000
如果一个表达式不能满足
SARG
的形式,那它就无法限制搜索的范围了,也就是
SQL SERVER
必须对每一行都判断它是否满足
WHERE
子句中的所有条件。所以一个索引对于不满足
SARG
形式的表达式来说是无用的。
介绍完
SARG
后,我们来总结一下使用
SARG
以及在实践中遇到的和某些资料上结论不同的经验:
1
、
Like
语句是否属于
SARG
取决于所使用的通配符的类型
如:
name like
‘张
%
’
,这就属于
SARG
而:
name like
‘
%
张’
,
就不属于
SARG
。
原因是通配符
%
在字符串的开通使得索引无法使用。
2
、
or
会引起全表扫描
Name=
’张三’
and
价格
>5000
符号
SARG
,而:
Name=
’张三’
or
价格
>5000
则不符合
SARG
。使用
or
会引起全表扫描。
3
、非操作符、函数引起的不满足
SARG
形式的语句
不满足
SARG
形式的语句最典型的情况就是包括非操作符的语句,如:
NOT
、
!=
、
<>
、
!<
、
!>
、
NOT EXISTS
、
NOT IN
、
NOT LIKE
等,另外还有函数。下面就是几个不满足
SARG
形式的例子:
ABS(
价格
)<5000
Name like
‘
%
三’
有些表达式,如:
WHERE
价格
*2>5000
SQL SERVER
也会认为是
SARG
,
SQL SERVER
会将此式转化为:
WHERE
价格
>2500/2
但我们不推荐这样使用,因为有时
SQL SERVER
不能保证这种转化与原始表达式是完全等价的。
4
、
IN
的作用相当与
OR
语句:
Select * from table1 where tid in (2,3)
和
Select * from table1 where tid=2 or tid=3
是一样的,都会引起全表扫描,如果
tid
上有索引,其索引也会失效。
5
、尽量少用
NOT
6
、
exists
和
in
的执行效率是一样的
很多资料上都显示说,
exists
要比
in
的执行效率要高,同时应尽可能的用
not exists
来代替
not in
。但事实上,我试验了一下,发现二者无论是前面带不带
not
,二者之间的执行效率都是一样的。因为涉及子查询,我们试验这次用
SQL SERVER
自带的
pubs
数据库。运行前我们可以把
SQL SERVER
的
statistics I/O
状态打开:
(
1
)
select title,price from titles where title_id in (select title_id from sales where qty>30)
该句的执行结果为:
表
''sales''
。扫描计数
18
,逻辑读
56
次,物理读
0
次,预读
0
次。
表
''titles''
。扫描计数
1
,逻辑读
2
次,物理读
0
次,预读
0
次。
(
2
)
select title,price from titles
where exists (select * from sales
where sales.title_id=titles.title_id and qty>30)
第二句的执行结果为:
表
''sales''
。扫描计数
18
,逻辑读
56
次,物理读
0
次,预读
0
次。
表
''titles''
。扫描计数
1
,逻辑读
2
次,物理读
0
次,预读
0
次。
我们从此可以看到用
exists
和用
in
的执行效率是一样的。
7
、用函数
charindex()
和前面加通配符
%
的
LIKE
执行效率一样
前面,我们谈到,如果在
LIKE
前面加上通配符
%
,那么将会引起全表扫描,所以其执行效率是低下的。但有的资料介绍说,用函数
charindex()
来代替
LIKE
速度会有大的提升,经我试验,发现这种说明也是错误的:
select gid,title,fariqi,reader from tgongwen
where charindex(''
刑侦支队
'',reader)>0 and fariqi>''2004-5-5''
用时:
7
秒,另外:扫描计数
4
,逻辑读
7155
次,物理读
0
次,预读
0
次。
select gid,title,fariqi,reader from tgongwen
where reader like ''%'' + ''
刑侦支队
'' + ''%'' and fariqi>''2004-5-5''
用时:
7
秒,另外:扫描计数
4
,逻辑读
7155
次,物理读
0
次,预读
0
次。
8
、
union
并不绝对比
or
的执行效率高
我们前面已经谈到了在
where
子句中使用
or
会引起全表扫描,一般的,我所见过的资料都是推荐这里用
union
来代替
or
。事实证明,这种说法对于大部分都是适用的。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen
where fariqi=''2004-9-16'' or gid>9990000
用时:
68
秒。扫描计数
1
,逻辑读
404008
次,物理读
283
次,预读
392163
次。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''
union
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid>9990000
用时:
9
秒。扫描计数
8
,逻辑读
67489
次,物理读
216
次,预读
7499
次。
看来,用
union
在通常情况下比用
or
的效率要高的多。
但经过试验,笔者发现如果
or
两边的查询列是一样的话,那么用
union
则反倒和用
or
的执行速度差很多,虽然这里
union
扫描的是索引,而
or
扫描的是全表。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen
where fariqi=''2004-9-16'' or fariqi=''2004-2-5''
用时:
6423
毫秒。扫描计数
2
,逻辑读
14726
次,物理读
1
次,预读
7176
次。
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''
union
select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-2-5''
用时:
11640
毫秒。扫描计数
8
,逻辑读
14806
次,物理读
108
次,预读
1144
次。
9
、字段提取要按照“需多少、提多少”的原则,避免“
select *
”
我们来做一个试验:
select top 10000 gid,fariqi,reader,title from tgongwen order by gid desc
用时:
4673
毫秒
select top 10000 gid,fariqi,title from tgongwen order by gid desc
用时:
1376
毫秒
select top 10000 gid,fariqi from tgongwen order by gid desc
用时:
80
毫秒
由此看来,我们每少提取一个字段,数据的提取速度就会有相应的提升。提升的速度还要看您舍弃的字段的大小来判断。
10
、
count(*)
不比
count(
字段
)
慢
某些资料上说:用
*
会统计所有列,显然要比一个世界的列名效率低。这种说法其实是没有根据的。我们来看:
select count(*) from Tgongwen
用时:
1500
毫秒
select count(gid) from Tgongwen
用时:
1483
毫秒
select count(fariqi) from Tgongwen
用时:
3140
毫秒
select count(title) from Tgongwen
用时:
52050
毫秒
从以上可以看出,如果用
count(*)
和用
count(
主键
)
的速度是相当的,而
count(*)
却比其他任何除主键以外的字段汇总速度要快,而且字段越长,汇总的速度就越慢。我想,如果用
count(*)
,
SQL SERVER
可能会自动查找最小字段来汇总的。当然,如果您直接写
count(
主键
)
将会来的更直接些。
11
、
order by
按聚集索引列排序效率最高
我们来看:(
gid
是主键,
fariqi
是聚合索引列):
select top 10000 gid,fariqi,reader,title from tgongwen
用时:
196
毫秒。
扫描计数
1
,逻辑读
289
次,物理读
1
次,预读
1527
次。
select top 10000 gid,fariqi,reader,title from tgongwen order by gid asc
用时:
4720
毫秒。
扫描计数
1
,逻辑读
41956
次,物理读
0
次,预读
1287
次。
select top 10000 gid,fariqi,reader,title from tgongwen order by gid desc
用时:
4736
毫秒。
扫描计数
1
,逻辑读
55350
次,物理读
10
次,预读
775
次。
select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi asc
用时:
173
毫秒。
扫描计数
1
,逻辑读
290
次,物理读
0
次,预读
0
次。
select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi desc
用时:
156
毫秒。
扫描计数
1
,逻辑读
289
次,物理读
0
次,预读
0
次。
从以上我们可以看出,不排序的速度以及逻辑读次数都是和“
order by
聚集索引列”
的速度是相当的,但这些都比“
order by
非聚集索引列”的查询速度是快得多的。
同时,按照某个字段进行排序的时候,无论是正序还是倒序,速度是基本相当的。
12
、高效的
TOP
事实上,在查询和提取超大容量的数据集时,影响数据库响应时间的最大因素不是数据查找,而是物理的
I/0
操作。如:
select top 10 * from (
select top 10000 gid,fariqi,title from tgongwen
where neibuyonghu=''
办公室
''
order by gid desc) as a
order by gid asc
这条语句,从理论上讲,整条语句的执行时间应该比子句的执行时间长,但事实相反。因为,子句执行后返回的是
10000
条记录,而整条语句仅返回
10
条语句,所以影响数据库响应时间最大的因素是物理
I/O
操作。而限制物理
I/O
操作此处的最有效方法之一就是使用
TOP
关键词了。
TOP
关键词是
SQL SERVER
中经过系统优化过的一个用来提取前几条或前几个百分比数据的词。经笔者在实践中的应用,发现
TOP
确实很好用,效率也很高。但这个词在另外一个大型数据库
ORACLE
中却没有,这不能说不是一个遗憾,虽然在
ORACLE
中可以用其他方法(如:
rownumber
)来解决。在以后的关于“实现千万级数据的分页显示存储过程”的讨论中,我们就将用到
TOP
这个关键词。
到此为止,我们上面讨论了如何实现从大容量的数据库中快速地查询出您所需要的数据方法。当然,我们介绍的这些方法都是“软”方法,在实践中,我们还要考虑各种“硬”因素,如:网络性能、服务器的性能、操作系统的性能,甚至网卡、交换机等。