数据库中的全表扫描,索引扫描,以及相关知识点

前沿:以下为参考文章(建议食用)

索引的访问方式:索引查找、索引扫描

Bookmark Lookup、RID Lookup、Key Lookup定义

聚集索引和非聚集索引(整理)

SQL SERVER中什么情况会导致索引查找变成索引扫描

Index Seek和Index Scan的区别以及适用情况

一、简介说明

1.1、 深入浅出理解索引结构

实际上,您可以把索引理解为一种特殊的目录。微软的SQL SERVER提供了两种索引:聚集索引(clustered index,也称聚类索引、簇集索引)和非聚集索引(nonclustered index,也称非聚类索引、非簇集索引)。下面,我们举例来说明一下聚集索引和非聚集索引的区别:
  其实,我们的汉语字典的正文本身就是一个聚集索引。比如,我们要查“安”字,就会很自然地翻开字典的前几页,因为“安”的拼音是“an”,而按照拼音排序汉字的字典是以英文字母“a”开头并以“z”结尾的,那么“安”字就自然地排在字典的前部。如果您翻完了所有以“a”开头的部分仍然找不到这个字,那么就说明您的字典中没有这个字;同样的,如果查“张”字,那您也会将您的字典翻到最后部分,因为“张”的拼音是“zhang”。也就是说,字典的正文部分本身就是一个目录,您不需要再去查其他目录来找到您需要找的内容。我们把这种正文内容本身就是一种按照一定规则排列的目录称为“聚集索引”。
  如果您认识某个字,您可以快速地从自动中查到这个字。但您也可能会遇到您不认识的字,不知道它的发音,这时候,您就不能按照刚才的方法找到您要查的字,而需要去根据“偏旁部首”查到您要找的字,然后根据这个字后的页码直接翻到某页来找到您要找的字。但您结合“部首目录”和“检字表”而查到的字的排序并不是真正的正文的排序方法,比如您查“张”字,我们可以看到在查部首之后的检字表中“张”的页码是672页,检字表中“张”的上面是“驰”字,但页码却是63页,“张”的下面是“弩”字,页面是390页。很显然,这些字并不是真正的分别位于“张”字的上下方,现在您看到的连续的“驰、张、弩”三字实际上就是他们在非聚集索引中的排序,是字典正文中的字在非聚集索引中的映射。我们可以通过这种方式来找到您所需要的字,但它需要两个过程,先找到目录中的结果,然后再翻到您所需要的页码。我们把这种目录纯粹是目录,正文纯粹是正文的排序方式称为“非聚集索引”。
  通过以上例子,我们可以理解到什么是“聚集索引”和“非聚集索引”。进一步引申一下,我们可以很容易的理解:每个表只能有一个聚集索引(并且这个聚集索引也可以是聚合索引,两者并不冲突),因为目录只能按照一种方法进行排序。

1.2、 缺点

然而, 事物都是有两面的, 索引能让数据库查询数据的速度上升, 而使写入数据的速度下降,原因很简单的, 因为索引这个平衡树这个结构必须一直维持在一个正确的状态, 增删改数据都会改变平衡树各节点中的索引数据内容,破坏树结构, 因此,在每次数据改变时, DBMS必须去重新梳理树(索引)的结构以确保它的正确,这会带来不小的性能开销,也就是为什么索引会给查询以外的操作带来副作用的原因。

二、 测试说明

baseConfig表结构
数据库中的全表扫描,索引扫描,以及相关知识点_第1张图片
这里我建立两个索引

  • id (聚集索引)
  • configType(非聚集索引)

2.1、测试聚集索引

此时数据库120条数据
数据库中的全表扫描,索引扫描,以及相关知识点_第2张图片
这句SQL语句的执行过程如下:

  • 首先,通过聚集索引ID查找ID等于1的所有记录的主键ID值
  • 然后,根据主键ID取得最终的结果

2.2、测试非聚集索引

此时数据库120条数据
数据库中的全表扫描,索引扫描,以及相关知识点_第3张图片
这句SQL语句的执行过程如下:

  • 首先,通过非聚集索引ConfigType查找ConfigType等于sms的所有记录
  • 然后,因为数据页中已经存在ConfigType字段,即不用再取处理其它的

2.3、 先使用非聚集,后为聚集

如果数据量过少,sqlserver就会选择最优的查询,此时为120条数据,sqlserver认为直接使用聚集索引的索引扫描 (index scan)会更快,更优!关于index scan 与index seek的区别下面会说
数据库中的全表扫描,索引扫描,以及相关知识点_第4张图片
所以我这里加入13000多条数据,下面这个sql语句为生成13000条的假数据,此时数据量就会很多,并且会使用index seek

declare @i int
set @i=1;
while(1=1)
BEGIN
	insert into BaseConfig(ConfigType,ConfigName)
	select 'sf','sdffsd'
	set @i=@i+1;
	print @i;
	if(@i>13000)
	  return;
END

再执行,结果如下(关于key lookup在四中说明了
数据库中的全表扫描,索引扫描,以及相关知识点_第5张图片

这句SQL语句的执行过程如下:

  • 首先,通过非聚集索引ConfigType查找ConfigType等于sms的所有记录,因为记录中虽然已经存在ConfigType字段,但是我们还要查找configName字段,但是configName并没有建立索引
  • 然后,通过得到的主键ID值执行聚集索引查找,找到主键ID值对就的真实数据(数据行)存储的位置
  • 最后, 从得到的真实数据中取得configName字段的值返回, 也就是取得最终的结果

三、index scan 与index seek

SQL有一个查询优化分析器 Query Optimizer,其在执行查询之前首先会进行分析,当查询中有可以利用的索引时,其会优先分析使用Index Seek进行查询的效率,在使用Index Seek查询效率并不好的情况下,其会使用Index Scan进行查询

  1. 在要查询的表中数据不是很多的话,使用Index Seek效率不一定高,因此使用Index seek还要先从索引树开始,然后再利用叶子节点去查找相应的行。在行树比较少的情况下,还没有直接进行Index scan快。

  2. 在返回的数据量大的情况下,在返回的数据量占总数据量的50%或者超过50%则使用Index Seek效率不一定好,在返回的数据量占10%-15%时,利用Index Seek能获得最佳的性能。

此时数据数据量为23万多条,查询后如下

  • 此处为index seek
    数据库中的全表扫描,索引扫描,以及相关知识点_第6张图片
  • 此处为index scan
    在where后面使用函数,会将sqlserver从index seek变为index scan,至于其它的方式,请查看 SQL SERVER中什么情况会导致索引查找变成索引扫描
    数据库中的全表扫描,索引扫描,以及相关知识点_第7张图片

四、Bookmark Lookup、RID Lookup、Key Lookup定义

上面三者翻译为:标签查找、行ID查找、键查找。标签查找和键查找是一个意思,在SQL 2005之前叫Key Lookup

在查询中,我们对返回的列在查询条件上若建立了非聚集索引,此时将可能尝试使用非聚集索引查找,如果返回的列没有创建非聚集索引,此时会返回到数据页中去获取这些列的数据,即使表中存在聚集索引或者没有,都会返回到表中或者聚集索引中去获取数据(即需要查找Index中没有完全包含的额外字段列,这时SQL Server必须回过头来获取额外的字段列的值)。对于以上场景描述,如果表没有创建聚集索引则称为Bookmar Lookup,如果表中没有聚集索引但是存在非聚集索引我们称为RID Lookup。

具体也可以查看 Bookmark Lookup、RID Lookup、Key Lookup定义

五、其它

  • 可以在优化过的sql语句上增加,计算执行的时间,来判断效果,大致模型如下
declare @d datetime
set @d=getdate()
select top 20000 id,ConfigType,ConfigName from BaseConfig where ConfigType = 'sms'
select [时间] = datediff(ms,@d,getdate())
  • 以下是为计算CPU耗时的sql语句(从公司前辈文档里看到的)
SELECT TOP 20

total_worker_time/1000 AS [总消耗CPU 时间(ms)],execution_count [运行次数],

 qs.total_worker_time/qs.execution_count/1000 AS [平均消耗CPU 时间(ms)],

 last_execution_time AS [最后一次执行时间],max_worker_time /1000 AS [最大执行时间(ms)],

 SUBSTRING(qt.text,qs.statement_start_offset/2+1,

 (CASE WHEN qs.statement_end_offset = -1

 THEN DATALENGTH(qt.text)

 ELSE qs.statement_end_offset END -qs.statement_start_offset)/2 + 1)

AS [使用CPU的语法], qt.text [完整语法],

dbname=db_name(qt.dbid),

object_name(qt.objectid,qt.dbid) ObjectName

FROM sys.dm_exec_query_stats qs WITH(nolock)

CROSS apply sys.dm_exec_sql_text(qs.sql_handle) AS qt

WHERE execution_count>1

ORDER BY total_worker_time DESC
  • 查询是否有阻塞的sql语句
SELECT TOP 10
[session_id],
[request_id],
[start_time] AS '开始时间',
[status] AS '状态',
[command] AS '命令',
dest.[text] AS 'sql语句', 
DB_NAME([database_id]) AS '数据库名',
[blocking_session_id] AS '正在阻塞其他会话的会话ID',
[wait_type] AS '等待资源类型',
[wait_time] AS '等待时间',
[wait_resource] AS '等待的资源',
[reads] AS '物理读次数',
[writes] AS '写次数',
[logical_reads] AS '逻辑读次数',
[row_count] AS '返回结果行数'
FROM sys.[dm_exec_requests] AS der 
CROSS APPLY 
sys.[dm_exec_sql_text](der.[sql_handle]) AS dest 
WHERE [session_id]>50 AND DB_NAME(der.[database_id])='yygj'  
ORDER BY [cpu_time] DESC

你可能感兴趣的:(数据库)